Методическое пособие
«Адаптивное компьютерное тестирование»
разработано Центром образовательных коммуникаций и тестирования профессионального образования г.Москва
Содержание
Методическое пособие 1
Содержание 2
1 компьютерное адаптивное тестирование 4
1.1 Обоснование необходимости перехода к компьютерному адаптивному тестированию 4
1.2 Разделение процесса тестирования на 2 этапа 6
2 Порядок разработки тестов 9
3 Особенности АСТ 10
3.1 Требования к структуре Банка тестовых заданий (БТЗ) 10
3.1.1 Пример 1. 10
3.1.2 Пример 2. 10
3.2 Формы Заданий, поддерживаемые АСТ 11
3.2.1 Задание открытой формы 11
3.2.2 Задание закрытой формы 11
3.2.3 Установить соответствие 11
3.2.4 Установить правильную последовательность 11
3.3 Воспроизведение на экране заданий и способы ответа на них 11
3.3.1 Общие положения 11
3.3.2 Задание закрытой формы 12
3.3.3 Задание открытой формы 13
3.3.4 Задание на установление соответствия 13
3.3.5 Задание на установление порядка 14
3.4 Технология тестирования В АСТ 15
4 Рекомендации по разработке тестовых заданий 16
4.1 Основные принципы составления заданий. 16
16
ПДТЗ должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность. 16
4.2 Наиболее часто встречающиеся ошибки в построении заданий 17
4.2.1 Формулировка заданий в форме вопроса. 17
4.2.2 В дистракторах присутствуют повторяющиеся слова или словосочетания 17
4.2.3 Дистракторы содержат подсказки 18
4.2.4 Наличие слов «любое», «и то и другое», «ОБА» в качестве дистракторов 18
4.2.5 Многословность и сложность изложения. 19
4.2.6 Формулировка задания не соответствует его форме 19
4.2.7 Один из дистракторов сильно отличается от других 20
5 Требования к оформлению материала: 21
5.1 Содержательная часть 21
5.1.1 Описательная часть 21
5.1.2 Тестовые задания 21
5.1.3 Перечень тестов, формируемых на основе представленного тестового материала 22
6 Подготовка материала в WinWord 23
6.1 Структура заданий 23
6.1.1 Открытая формы заданий 23
6.1.2 Закрытая форма заданий 23
6.1.3 Установление правильной последовательности 23
6.1.4 Установление соответствия 24
6.2 Правила оформления БАНКОВ ТЕСТОВЫХ заданий 24
6.2.1 Оформление структуры тестовых заданий 24
6.2.2 Символ V1(2)(3) ставятся при каждом новом разделе (подразделе), (теме) без возрастания.Общие для все форм 25
6.2.3 Открытая форма заданий 25
6.2.4 Закрытая форма заданий 25
6.2.5 Задание на установление порядка 26
6.2.6 Задание на соответствие 26
6.3 Примеры оформления 26
6.3.1 Пример 1 26
6.3.2 Пример 2 26
6.3.3 Пример 3 27
1компьютерное адаптивное тестирование 1.1Обоснование необходимости перехода к компьютерному адаптивному тестированию
Контроль уровня учебных достижений студентов основан на дидактических измерениях. В традиционном понимании дидактическое измерение есть ни что иное, как анализ и преобразование преподавателями ответов экзаменующихся на задачи или вопросы различной меры трудности. В смысловом отношении результат измерений содержит оценку (традиционно отметку) совокупности ответов студентов, которая отображается на шкалу отдельного преподавателя. Поскольку каждый преподаватель имеет собственную шкалу оценивания, измерения такого рода будут всегда субъективными. Для устранения субъективизма дидактических измерений иногда прибегают к групповому контролю, когда уровень учебных достижений студента оценивается сразу несколькими преподавателями, а отметка формируется экспертным путем. Это в определенной степени повышает объективность оценивания, но приводит к резкому возрастанию учебной нагрузки профессорско-преподавательского состава института. Более того, даже при экспертном подходе к проверкам достижений невозможно избежать ошибок, которые связаны с ограниченным числом вопросов, предъявляемых экзаменующемуся. В результате субъективизма и ограниченного числа вопросов ошибка в установлении уровня учебных достижений на экзамене достигает 38%.
Следующим этапом повышения эффективности дидактических измерений явился переход к тестированию – «бумажному», «аппаратному», «компьютерному». Каждый из этих способов обладает как своими достоинствами, так и недостатками, но основной целью любого из этих способов является получение оценки уровня достижений студента с заданной верностью или точностью. Точность полученной в результате тестирования оценки можно достигнуть за счет повышения информативности (различающей мощности) всех заданий теста или увеличения количества заданий, перекрывающие все допустимые уровни подготовки тестируемых. Повышение информативности теста – путь наиболее эффективный и реализуется за счет внедрения адаптивных процедур тестирования.
Наверное, нет необходимости доказывать преимущество компьютерного тестирования, однако отметим некоторые моменты:
оценивание результатов тестирования осуществляется мгновенно, автоматически фиксируется и сохраняется на длительное время;
возможность формирования достаточно большого количества вариантов теста, которое ограничено лишь размером банка тестовых заданий;
возможность реализации удобных процедур ввода, модификации тестовых материалов;
возможность формирования тестов, различных по уровню обученности испытуемых;
возможность управления как содержимым теста, так и стратегией проверок в ходе тестирования;
отсутствует необходимость в бумажных носителях и листах ответа. Это скорее важно не с точки зрения экономии средств (бумага, множительная техника, подготовленный персонал, технические средства сканирования листов ответа, программное обеспечение для сканирования и распознавания результатов, занесение результатов для дальнейшей обработки и хранения), а скорее – обеспечения секретности (надежности, безопасности), так как подготовка бумажных вариантов теста требует достаточно большого времени и доступа определенного количества обслуживающего персонала, что может служит утечкой информации до начала процесса тестирования;
нет необходимости в синхронизации процесса тестирования для группы испытуемых. Каждый тестируемый выбирает самостоятельный темп работы с тестом;
при компьютерном тестировании легко ввести временные ограничения или временное отслеживание процесса тестирования, что трудно осуществимо при бумажном тестировании; это позволяет учитывать психомоторные аспекты тестируемого.
использование мультимедийных компонент и графических изображений высокого качества (объем, цвет) доступные при компьютерном тестировании обеспечивает правильное и быстрое восприятия содержания задания, а с психологической точки зрения снимает напряжение с тестируемого;
повышается эффективность тестирования: уменьшается время тестирования (до 50% по сравнению с бумажной формой тестирования) для достижения того же уровня надежности оценивания, что ведет к уменьшению усталости тестируемого во время сеанса тестирования, что также является важным показателем в результатах тестируемых.
Необходимо отметить, что все вышеперечисленные преимущества достижимы лишь при правильной организации технологии компьютерного тестирования и наличия программных средств, их реализующих. В настоящее время еще активно используются программные оболочки, которые не могут обеспечить всех указанных преимуществ.
Адаптивное тестирование применялось и для технологий бумажного тестирования, однако активное развитие оно получило с широким внедрением компьютерного тестирования. Необходимо отметить, что существуют различные алгоритмы и технологии КАТ, в дальнейшем мы ориентируемся на продвинутые технологии КАТ.
Основной особенностью КАТ является то, что тестовая последовательность формируются в процессе тестирования в соответствии с уровнем достижений каждого конкретного индивида, динамически оцениваемого (а в лучшем случае и прогнозируемого) в процессе, а не по окончании тестирования. В результате можно говорить о том, что:
каждый конкретный тест уникален и не был ранее опубликован, что также повышает его секретность (и надежность);
эффективность КАТ выше обычного компьютерного тестирования, так как трудность предъявляемых заданий стремиться соответствовать уровню достижений тестируемого, следовательно, повышается информативность теста и быстрее достигается заданная точность оценивания результата, что также может сократить длительность теста;
КАТ позволяет распознавать не только испытуемых со средним уровнем достижений, но и дает возможность выявить наиболее яркие, выдающиеся личности.
Перечисленные достоинства КАТ в совокупности с преимуществами вообще компьютерного тестирования обуславливают обоснованность перехода к КАТ для оценки уровня учебных достижений студентов.
Следует отметить некоторые ограничения использования КАТ:
Технические параметры компьютеров могут ограничивать возможности:
реализации алгоритмов адаптивного тестирования,
формирования и ведения большого объема банка тестовых заданий, на основе которого формируются тесты,
реализации форм, графических и мультимедийных компонент тестовых заданий.
КАТ требует точной калибровки заданий по мере трудности. Для каждого индивида формируется индивидуальный тест, состоящий их некоторого множества заданий, являющимся подмножеством всего банка тестовых заданий. Получаемые каждым тестируемым оценки сильно зависят от точности оценивания характеристик каждого задания, ему предъявленного. Поэтому для получения как можно более точных характеристик заданий необходимы большие выборки – Тест должны пройти от 1000 до 2000 испытуемых. Поэтому использование КАТ иногда недопустимо для локально разрабатываемых тестов.
Слабая оснащенность компьютерной техникой и локальными сетями является преградой для развития КАТ. Использовать КАТ как стандартную практику возможно в организациях (учебных заведениях), обладающих достаточным парком компьютерной техники и возможностью сбора достаточно большого объема статистики или возможностью приобретения такого банка для использования
|
