Государственное образовательное учреждение высшего профессионального образования
Скачать 325.21 Kb.
|
 Государственное образовательное учреждение высшего профессионального образования «Ярославская государственная медицинская академия федерального агентства по здравоохранению и социальному развитию» Как создать надежный педагогический тест научно-методическое пособие для преподавателей Ярославль 2007   Как создать надежный педагогический тест: научно-метод.пособие для преподавателей /Сост. А.Н.Щапов, Ярославль, Яросл.госмед.академия, 2007. - 31с.Автор-составитель: Щапов Андрей Николаевич, кандидат химических наук, доцент Ярославской государственной медицинской академии, председатель проблемной комиссии по научным основам оптимизации учебного процесса и контролю качества обучения. Пособие предназначено преподавателям, использующим тестовую форму контроля учебных достижений, а также преподавателям - составителям заданий в тестовой форме. Приведены наиболее типичные недостатки заданий, характерные для начинающих составителей, требования к заданиям, рекомендации по составлению тестов, словарь терминов и список рекомендуемой литературы. Рецензент: Урванцева Г.А., кандидат химических наук, доцент кафедры общей и биоорганической химии Ярославского государственного университета им.П.Г.Демидова Рекомендовано к изданию проблемной комиссией по научным основам оптимизации учебного процесса и контролю качества обучения, протокол № 7 от 24 мая 2007 г. Разрешено к печати Центральным координационным методическим советом и редакционно-издательским советом академии (протокол №____ от 2007 г.) Содержание Введение 1.Виды тестов 2. Требования к заданиям в тестовой форме
© Ярославская государственная медицинская академия, 2007 © А.Н.Щапов, 2007 3  ВведениеВопросы качества образования, контроль и управление им становятся все более актуальными в деятельности высших учебных заведений. Во-первых, это обусловлено появлением новых специальностей в связи с требованиями рынка, быстро меняющимися учебными программами и планами. Во-вторых, необходимостью реализации образовательных стандартов, целями аттестации и аккредитации. Справедливо отмечено, что управление качеством (или управление образовательным процессом на основе качества) невозможно без использования надежных количественных измерений. Отсутствие инструментов таких измерений как раз и сдерживает внедрение системы управления качеством в учебный процесс. Поэтому задача преподавателей повышение надежности и валидности оценок учебных достижений. Только такие оценки могут быть средством управления, стимулирования и вознаграждения учебных усилий студентов. Достижению этой цели способствует активное использование, наряду с традиционными формами контроля, научно обоснованных тестовых материалов. Тестовая форма контроля, требующая дать (или выбрать) однозначный и краткий ответ, имеет ряд важнейших преимуществ по сравнению с традиционными формами (ответы на вопросы в устной или письменной форме, собеседование, устный экзамен), где требуется развернутое изложение материала. Тестовая форма наиболее конкретно выражает не только содержание дисциплины, но и требования к нему. Ее эффективность позволяет проводить частый тотальный контроль, что существенно повышает надежность итоговой оценки. Однако, педагогическое тестирование не является универсальной формой, оно имеет свои недостатки и ограничения. Следует отметить, что легче всего с помощью тестовой формы проверять овладение хорошо структурированным учебным материалом. Глубокое овладение предметом, умение мыслить самостоятельно, творчески анализировать ситуацию и делать обобщения с помощью педагогических тестов проверить трудно. Кроме того, отсутствие непосредственного контакта с учащимся, с одной стороны, делает тестовый контроль более объективным, но, с другой стороны, повышает вероятность случайных ошибок, вызванных невниманием или неправильным пониманием задания. Поэтому только умелое использование тестового контроля в сочетании с традиционными методами оценки знаний студентов может дать наилучший эффект. В последние годы задания в тестовой форме и тесты стали более активно и широко внедряться в процесс обучения и контроля в вузах. Однако, возможности тестовой формы еще мало реализованы. Причин тому несколько. Во-первых, это недостаточная осведомленность большинства преподавателей в вопросах педагогического тестирования. Во-вторых, достаточно большая трудоемкость составления заданий в тестовой форме. И, в третьих, отсутствие надлежащей квалифицированной тестологической экспертизы, из-за чего основная масса тестовой продукции - это материалы сравнительно низкого качества с рядом типичньх недостатков. «Многие тесты просто не стоят бумаги, на которой они напечатаны» (Купер К.). Все это - причина скепсиса и критического отношения к тестовым контролирующим материалам. Отсутствие «тестовой культуры» проявляется в том, что преподаватели, использующие тестовую форму контроля, не соблюдают секретность, допускают нарушения процедуры тестирования, обращаются с тестами как с обычными контролирующими материалами. Это приводит к быстрому рассекречиванию тестов, после чего они становятся совершенно непригодными для контроля. 4 5   При всех своих преимуществах (эффективность, объективность, надежность) педагогическое тестирование, однако, не может и не должно быть единственной формой контроля и оценки учебных достижений. Б форме тестовых заданий обычно находит свое выражение ядро дисггиплинь1, основные понятия, факты, теоретические положения, закономерности. Обычно это соответствует 1 и 2 уровням усвоения учебного материала. Способности студента, умение критически мыслить, анализировать ситуацию, делать обобщения, выводы, с помощью тестов оценить затруднительно. Такие тесты, наверное, будут созданы преподавателями различных дисциплин совместно с психологами.Решение задач, например, требует от студента не только знания определенного объема информации, но и навыков решения, быстроты мышления, общего интеллекта, выполнения ряда существенных операций, проверка правильности которых проводится с участием преподавателя. Вероятность правильного решения задачи является функцией умственных способностей человека (способности обрабатывать информацию) и слабо зависит от успешности прохождения тестирования (правильности ответов на задания в тестовой форме) (Хегенхан Б., Олсон М.). Цель настоящего пособия - дать преподавателям практические рекомендации по составлению качественных заданий в тестовой форме и надежных педагогических тестов. 1. Виды тестов Любое задание, предназначенное для проверки чего-либо, можно назвать тестом, если руководствоваться буквальным переводом этого слова (test -проверка, испытание). В этом смысле тестом можно назвать задачу, которую надо решить; вопрос, на который требуется ответить; высказывание, справедливость которого надо оценить; задание в тестовой форме, где необходимо указать правильный ответ; действия, которые необходимо совершить и т.д. Приведенная ниже классификация тестов как раз и подразумевает такую широкую трактовку понятия «тест». тесты  стандартизированные! [проективные} [традиционные | {объективные - опросники (личностные) -задания сделанные преподавателями «teacher-made» стандартизированные критериальные! j нормативные 6 Психологические тесты оценивают свойства личности. Такого рода тестирование, например, - неотъемлемый атрибут профессиональной ориентации и 7  профессионального отбора. Индивидуальный подход кобучению также подразумевает учет когнитивных особенностей учащихся, которые определяются психологическими тестами. Проективное тестирование - процедура, необходимым звеном которого является фигура опытного специалиста-психолога, проводящего индивидуальное тестирование. Результат такой процедуры во многом зависит от опыта и методического арсенала психолога. Стандартизированные психологические тесты (опросники, задания) прошли испытания на многочисленных выборках, имеют устойчивые параметры и, главное, сопровождаются эталонными ответами («ключами»). Обращаться к психологу в этом случае необязательно, подобного рода тесты, например, на проверку IQ, продаются в книжном магазине. Педагогические тесты предназначены для оценки учебных достижений по отдельным дисциплинам, но могут иметь и междисциплинарный характер. Практические (мануальные) тесты необходимы на любом этапе профессионального образования (начальное, среднее и высшее). Тестирование практических умений и навыков можно проводить на реально применяемых в учебном процессе объектах, оборудовании или на специально подготовленных макетах, моделях, тренажерах. Эталон качества выполненной работы должен содержать перечень и описание правильно выполненных операций, его удобно представить в виде технологической карты. Каждая операция карты сопровождается описанием применяемого оборудования, инструментов, приспособлений, материалов, а также условий выполнения. Все операции при этом должны иметь сквозную нумерацию. Эталоном качества может быть образец изделия, характеристика полученного продукта, параметры работы настроенного оборудования, многократно выверенные результаты анализа, требования различных норм и правил. Эталоном производительности труда является установленная для учащихся норма времени или выработки. Проверка работы по практическим тестам осуществляется, как правило, непосредственно в ходе выполнения. Критерии оценки результатов тестирования качества практического обучения устанавливаются экспертами в соответствии с эталонами правильного выполнения заданий. Кроме оценки «зачет-незачет» возможно применение дихотомической и политомической оценки отдельных этапов (заданий) теста, при этом здесь правомерно использование «коэффициента успешности» Ка , зависящего от числа правильно выполненных «существенных операций»*. При таком подходе оценка «удовлетворительно» соответствует Ка > 0,7 ; «хорошо» - Ка > 0,8 ; «отлично» - Ка > 0,9. (Беспалько В.П.). При обучении некоторым особо ответственным (с точки зрения здоровья и безопасности людей, соблюдения правил охраны труда и др.) профессиям в системе Госатомнадзора, Гостехнадзора, ГИБДД, например, критическую величину коэффициента успешности принимают выше 0,7 (Якуба Ю.А.). В сущности, единые тесты качества и производительности труда сочетают в себе два подхода к оценке учебных достижений: критериальный (качество) и нормативный (производительность). В период перестройки высшего медицинского образования и перехода на приоритетную подготовку врача общей практики актуальным является создание системы контроля за качеством и производительностью выполнения студентами профессиональных действий, предусмотренных квалификационной характеристикой врача. Своевременная и достоверная информация о степени приближения знаний и умений студентов к уровню требований квалификационной характеристики необходима для оперативного внесения корректив в учебный процесс. Первичным документом для анализа деятельности студента является «Карта комплексной оценки *) «Существенные операции» отражают усвоение умений и навыков только по тем учебным элементам, которые в данном конкретном случае являются объектами контроля (Беспалько В.П.). 8 9  профессиональных действий и умений студентов при самостоятельной работе с больными» (Латышев О.А., 1999), которую заполняет преподаватель во время амбулаторного приема, проводимого студентом под наблюдением преподавателя. При этом преподаватель выступает в роли эксперта качества и производительности самостоятельной работы студента, оценивая его действия по разработанной системе баллов. Положительной считается оценка качества работы, соответствующая комплексному показателю успешности Ка > 0,7. Кроме Ка в карте регистрируется время, затраченное студентом на самостоятельный амбулаторный приемТеоретические тесты оценивают достижения в изучении теоретической части учебных дисциплин. Традиционные тесты (тесты - эссе, от англ. essay - изложение, повествование) - это вопросы и задачи, требующие развернутого ответа в виде изложения или подробного решения. Оценку выполнения таких тестов называют традиционной учительской оценкой. Её надежность невелика. Объективные тесты принципиально отличаются от традиционных тем, что имеют эталонные ответы. Составить такие тесты трудно, а проверять легко (традиционные-наоборот). Высокая эффективность, надежность, валидность, дифференцирующая способность - вот те характеристики, которые делают объективные тесты незаменимыми при проведении аттестационных процедур, построении рейтинговых шкал, проверке «выживаемости»знаний. Применение подобных тестов -весомое основание к переходу от оценки к измерениям учебных достижений. Путь от разработки отдельных заданий в тестовой форме до создания надежного педагогического теста включает в себя несколько главных этапов. Во-первых, задания, сделанные преподавателем («teacher-made»), обязательно должны пройти редактирование и рецензирование. Одним из рецензентов выступает специалист в области предметного содержания контролируемого материала, другим - специалист в области педагогического тестирования (тестолог). Последний оценивает композицию заданий, соответствие формы заданий их содержанию и предназначению. Во-вторых, после проведения тестирования с применением разработанных заданий проводится статистическая обработка результатов. «Плохие» задания перерабатываются, заменяются или исключаются. На этом этапе определяются такие параметры заданий, как трудность cjj , дифференцирующая способность> (дискриминативность) и некоторые параметры корреляции заданий друг с другом и суммарным тестовым баллом (Клайн П.). Надо отметить, что для получения надежных данных о качестве педагогического теста не требуется таких огромных выборок, как для психологических тестов. Аудитория, проходящая предметное педагогическое тестирование, гораздо более однородна, имеет одинаковую предысторию, специально готовилась к прохождению теста. Размер выборки педагогического тестирования должен составлять не менее 200 учащихся по каждому варианту теста. Имея обширный банк заданий с известными параметрами, преподаватель может составить равноценные по трудности и дискриминативности варианты тестов. Особенно хорошо это удается в том случае, если задания имеют фасетный (многовариантный) характер. Сколько заданий и каких должен включать в себя надежный педагогический тест? Какая форма заданий предпочтительнее? Ответ на эти вопросы зависит от цели тестирования (входной контроль, текущий, рубежный, итоговый). Ниже приведены некоторые проверенные опытом рекомендации. Входной контроль, целью которого обычно является не выставление оценки, а проверка наличия или отсутствия некоторого образовательного минимума по теме или предмету, может проводиться с использованием большого числа «коротких» заданий закрытой формы с выбором одного ответа из двух, трех или четырех предложенных вариантов. 10 11  Дискриминативность такого теста невелика, но он позволяет проверить большой объем содержания и разделить учащихся на «сильную», «среднюю» и «слабую» группы. Для выполнения теста, составленного, например, только из 50 закрытых заданий с двумя ответами (верно-неверно), достаточно 15 минут. Если же дополнить входной тест несколькими «открытыми» заданиями, дискриминативность и надежность такого теста существенно возрастут.Текущий контроль, проводимый, обычно, после изучения темы в конце занятия, не должен ограничиваться только заданиями в тестовой форме. Рациональнее использовать комбинированный контроль, в котором доля заданий в тестовой форме невелика. Во-первых, преподаватели будут избавлены от проблемы шпаргалок с эталонами. Во-вторых, для выяснения усвоения темы необходимо проверить умение учащихся анализировать информацию, делать умозаключения, выводы в форме развернутого ответа на поставленные вопросы. Баллы за такой тест будут существенно различаться у сильных и слабых студентов, поскольку в тест могут быть включены задания от самых легких до самых трудных. Рубежный контроль (модульный), по сравнению с текущим, должен удовлетворять более строгим требованиям к надежности и валижности педагогических измерений. Модульный контроль - своеобразный мини-экзамен, к подготовке и проведению которого следует относиться также, как к курсовому экзамену. Тем более, что модульный принцип обучения, строго говоря, подразумевает, что учащийся, не сдавший 1-й модуль, не может бытъ допущен ко 2-му, так как обучение на первом этапе не завершено. Поскольку проверяется некоторый образовательный минимум, полученный по результатам изучения модуля, рубежный контроль лучше проводить в тестовой форме по унифицированным вариантам, одинаковым по трудности. Для получения надежного результата рекомендуется в рубежный тест включать не менее 25-30 заданий. Итоговый контроль (зачет или экзамен), так же, как и рубежный, по сути является критериальным. Здесь к тестовым контролирующим материалам предъявляются самые строгие требования. Экзаменационные тесты должны иметь рецензии по форме и содержанию, отличаться высокой надежностью и содержательной валидностью. Число заданий в тесте, способных обеспечить эти требования, составляет не менее 50 (что соответствует времени тестирования 80-90 мин). Что касается выбора формы заданий, то специалисты отмечают, что профессионально сделанные тесты, как правило, моноформны. Не следует стремиться к разнообразию форм, если это не оправдано серьезными причинами. В рубежном и итоговом контроле не рекомендуется использовать задания на установление соответствия, так как они достаточно громоздки, долго выполняются, снижая, тем самым эффективность тестирования. Задания на установления правильной последовательности используются, в основном, на заключительных этапах обучения и контроля при предъявлении междисциплинарных тестов. Еще одно важное замечание относится к логике построения теста. Он может подчиняться логике изложения учебного материала. Однако, в этом случае разработчик теста вынужден «подстраивать» форму под изложение, и может получиться так, что возникнет «чехарда» форм. Такой тест будут выполнять медленнее, чем тот, который построен, руководствуясь логикой тестирования. Эта логика диктует расположить задания по мере нарастания их трудности, а также сгруппировав однотипные задания под одной общей инструкцией. Логика изложения материала для тестирования неважна. Качество теста определяется, в основном, мастерством разработчика, его опытом преподавания и знанием основ педагогического тестирования. Это и наука, и искусство (как и медицина). 12 13  К сожалению, основная масса тестовой продукции, попадающая в руки пользователя, имеет ряд типичных недостатков, характерных для «сырых», предтестовых заданий, составленных неопытными разработчиками. Ниже приведены наиболее неудачные примеры заданий в тестовой форме, заимствованные из [Типовые тестовые задания для итоговой государственной аттестации выпускников высших медицинских учебных заведений по специальности 060101 (040100) «Лечебное дело», в 2-х частях. Часть 1/Под ред.МА.Палъцева и др. -ФГОУ «ВУНМЦ Росздрава», 2006.- 480с]. Автор настоящих рекомендаций надеется, что ознакомление с подобными образцами поможет начинающим разработчикам заданий в тестовой форме избежать повторения чужих ошибок.2. Требования к заданиям в тестовой форме Чтобы избежать случайных ошибок и получить надежный результат тестирования, необходимо учесть ряд общих требований к заданиям в тестовой форме: 1. Задание формулируется в логической форме утверждения, которое становится истинным или ложным суждением в зависимости от ответа учащегося.
5. Текст задания не должен содержать материала, не относящегося к сути задания. 6. Б тексте задания не рекомендуется использовать отрицания. Во-первых, это приводит к противоречиям при чтении задания; во-вторых, за редким исключением, негативные знания не настолько важны, как позитивные. Во-первых, такие задания встречаются в тесте редко, и тестируемый может по инерции просто не обратить внимания на частицу «не». Во-вторых, выбор ответа с частицей «не» в данном случае требует от тестируемого интерпретации двойного отрицания. Двойное отрицание делает утверждение истинным. 7. Все ответы к одному заданию должны быть лаконичны, примерно одинаковой длины, желательно не более 3-4 слов или символов. Рекомендуется ответы писать строчными буквами и располагать их в середине листа. Преподаватели часто стараются сформулировать правильный вариант ответа как можно более подробно, добавляя пояснения. В результате получается более длинный, развернутый ответ. В большинстве случаев он и является верным. 8. Единицы измерения и повторяющиеся слова из ответов следует перенести в основной текст задания. Например: Из перечисленных видов статистических таблиц наилучшее представление об исследуемой совокупности дает а), простая таблица б), групповая таблица в), комбинационная таблица [33 ] Лучше представить в следующей редакции: Наилучшее представление об исследуемой совокупности таблица дает A. простая Б. групповая B. комбинационная Ответ: В 14 15 9. В ответах не рекомендуется использовать слова «все, каждый, ни одного, никогда, всегда, ни один из перечисленных, все перечисленные». В большинстве случаев варианты ответов, содержащие указанные выше термины, являются неверными. Слова «обычно», «часто», «иногда», «большинство», «многие», напротив, придают утверждениям оттенок правильности. Но они могут содержать в себе противоречие или неопределенность. Например: |
Добавить документ в свой блог или на сайт
Похожие:
 | Государственное образовательное учреждение высшего профессионального... Государственное бюджетное образовательное учреждение высшего профессионального образования | | Государственное бюбжетное образовательное учреждение высшего профессионального... Государственное образовательное учреждение высшего профессионального образования «Ставропольская государственная медицинская академия»... |
| Правительство Российской Федерации Государственное образовательное... Федеральное государственное автономное образовательное учреждение высшего профессионального образования |  | Федеральное агентство по образованию государственное образовательное... Государственное образовательное учреждение высшего профессионального образования «Ставропольская государственная медицинская академия»... |
| Государственное образовательное учреждение высшего профессионального... Государственное образовательное учреждение высшего профессионального образования | | Государственное образовательное учреждение высшего профессионального... Государственное образовательное учреждение высшего профессионального образования |
| Государственное образовательное учреждение высшего профессионального... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования | | Федеральное государственное бюджетное образовательное учреждение... Государственное образовательное учреждение высшего профессионального образования |
| Рабочие программы дисциплин Титул Министерство здравоохранения и... Государственное бюджетное образовательное учреждение высшего профессионального образования | | Рабочие программы дисциплин Титул Министерство здравоохранения и... Государственное бюджетное образовательное учреждение высшего профессионального образования |
| Рабочие программы дисциплин Министерство здравоохранения и социального... Государственное бюджетное образовательное учреждение высшего профессионального образования | | Министерство сельского хозяйства РФ федеральное государственное бюджетное... Федеральное государственное образовательное учреждение высшего профессионального образования |
| Рабочая программа Министерство здравоохранения и социального развития... Государственное бюджетное образовательное учреждение высшего профессионального образования | | Государственное бюджетное образовательное учреждение высшего профессионального... Государственное бюджетное образовательное учреждение высшего профессионального образования |
| Государственное образовательное учреждение высшего профессионального... Государственное бюджетное образовательное учреждение высшего профессионального образования | | Федеральное государственное образовательное учреждение высшего профессионального... Федеральное государственное образовательное учреждение высшего профессионального образования |
