Типичные ошибки при создании тестовых заданий для системы Прометей

ТИПИЧНЫЕ ОШИБКИ ПРИ СОЗДАНИИ ТЕСТОВЫХ ЗАДАНИЙ для системы Прометей Самая распространенная ошибка большинства преподавателей, приступающих к освоению электронного тестирования - это попытка втиснуть любое тестовое задание в формат "один из многих". Складывается впечатление, что преподаватели просто влюблены в Максима Галкина с его абэцэдэшными вопросами и даже представить себе не могут, что тестовые задания могут выглядеть как-то иначе. Уважаемые коллеги! У нас есть десять способов постановки тестовых заданий. И формат "один из многих" - это в прямом смысле слова лишь один из многих способов озадачить студента. Использование тестов, содержащих только вопросы типа "один из многих", имеют два серьезных недостатка: (1) высокую вероятность угадывания и (2) высокую утомляемость слушателей. Как правило, преподаватели предлагают 3-4 варианта ответа на вопрос. Это означает, что студент может угадать правильный ответ с вероятностью от 25% (при четырех вариантах) до 33% (при трех вариантах ответов). При плохо подготовленных дистракторах процент угадываний взлетает до 100. Есть смысл использовать разные типы вопросов хотя бы для того, чтобы не позволить недобросовестным студентам легко набрать проходной балл. Имея дело с технологией, мы обязаны принимать во внимание ее особенности. Сдавая тест за компьютером, слушатели больше волнуются и намного быстрее устают, чем если бы они делали это на бумаге. По приблизительным оценкам, утомление накапливается на уровне 10-11 вопроса средней сложности. Вы хотите, чтобы ваши слушатели хорошо соображали на протяжении всего теста или только первых десяти вопросов? Если хотите получить достоверные данные - используйте разнообразные задания. Каждый электронный тест - это набор законченных мини-заданий, следовательно, качество теста складывается из качества каждого отдельного задания. Могу вас обрадовать: создавать качественные задания легче, чем кажется. Все возможные ошибки, которые может допустить начинающий разработчик, уже совершены. Нам осталось лишь рассмотреть неудачные образцы и сделать работу над ошибками. Все примеры - настоящие, взяты из моей практики. ТИПИЧНЫЕ ОШИБКИ - Вопросительная формулировка Пример 1: Как космические факторы (внешние поля) взаимодействуют с живым организмом? по законам биологии по законам астрономии по законам физики Как правильно: Космические факторы (внешние поля) взаимодействуют с живым организмом по законам биологии астрономии физики В чем ошибка: задание имеет вопросительную форму. Это неизбежно влечет за собой повторяющиеся слова в вариантах ответов. Что следует сделать: сменить формулировку на утвердительную. Повторяющееся слово (законы) вынести из вариантов ответов в текст задания. Пример 2: В какой последовательности, по Н.Я. Данилевскому, сменяли друг друга культурно-исторические типы ? Иранский Римский Славянский Европейский Как правильно: Последовательность культурно-исторических типов по Н.Я. Данилевскому: Иранский Римский Славянский Европейский   В чем ошибка: задание имеет вопросительную форму. Что следует сделать: сменить формулировку на утвердительную. ТИПИЧНЫЕ ОШИБКИ - Несогласованная формулировка Пример 1 Преимущество червячного редуктора перед зубчатым заключается в: Компактность, плавность и бесшумность работы Сравнительно небольшая передаваемая мощность Повышенный КПД   Как правильно: Преимущество червячного редуктора перед зубчатым: Компактность, плавность и бесшумность работы Сравнительно небольшая передаваемая мощность Повышенный КПД   В чем ошибка: падежа не согласововываются, однако... Что следует сделать: либо поставить варианты в родительный падеж, либо скорректировать "шапку" под варианты. Пример 2 Каков главный принцип создания информационной системы? Начало формы низкий уровень агрегирования качественная сопоставимость данных наличие комплекса набора данных верны ответы 1 и 2* Конец формы Как правильно: Главные принципы создания информационной системы: Начало формы низкий уровень агрегирования качественная сопоставимость данных наличие комплекса набора данных формальная корректность данных ... Конец формы В чем ошибки: 1. Задание имеет вопросительную формулировку. 2. Верный ответ отмечен звездочкой. То есть преподаватель ставит задачу указать один принцип, когда на самом деле принципов должно быть два! 3. Если включено перемешивание вариантов, как можно распознать ответы 1 и 2? 4. Вариант "верны ответы Х и Y" всегда работает как подсказка, если он верен. Что следует сделать: 1. Сменить тип вопроса на "многие из многих". 2. Сменить вопросительную формулировку на утвердительную. 3. Использовать множественное число - "принципы" вместо "принцип". 3. При небходимости добавить 1-2 подходящих по смыслу дистрактора. ТИПИЧНЫЕ ОШИБКИ - Отрицательная формулировка Пример: Какое из следующих утверждений неверно? Активы: увеличение по дебету, уменьшение по кредиту Капитал: увеличение по дебету, уменьшение по кредиту Обязательства: увеличение по кредиту, уменьшение по дебету В чем ошибки: задание сформулировано вопросительно и содержит отрицание. Что следует сделать: 1. Преобразовать формулировку в утвердительную. 2. Сменить тип вопроса на "многие из многих" или "соответствие". 3. В качестве вариантов использовать слова верно/ложно.   Как правильно: Вариант 1 Укажите верные утверждения Начало формы Активы: увеличение по дебету, уменьшение по кредиту Капитал: увеличение по дебету, уменьшение по кредиту Обязательства: увеличение по кредиту, уменьшение по дебету Конец формы Вариант 2 Укажите верные утверждения Активы: увеличение по дебету, уменьшение по кредиту   Капитал: увеличение по дебету, уменьшение по кредиту   Обязательства: увеличение по кредиту, уменьшение по дебету Комментарий. У вас может возникнуть вопрос, для чего нужен вариант 2 (соответствие). По смысловой нагрузке первый и второй варианты одинаковы. Объясняю разницу: Во-первых, учитывая необходимость использовать в тестах разные типы вопросов, мы вполне можем выбрать вариант 2. Обратите внимание: в отличие от "многие из многих" вопросы на нахождение соответствий очень хорошо работают в случаях, когда необходима категоризация утверждений по двум или более признакам. Во-вторых, задания "многие из многих" и "соответствие" обрабатываются системой по совершенно разным принципам. В "соответствиях" мы можем предоставить студенту возможность "промахнуться" с одной или несколькими парами значений, но все же заработать свою половинку или четвертушку балла за такое задание. В заданиях "многие из многих" за любой неверно указанный студентом вариант ответа система обнуляет балл за задание. Вывод: "соответствие" - более "мягкий" вариант постановки тестовых заданий. ТИПИЧНЫЕ ОШИБКИ - Избыточная формулировка Пример: Укажите верное определение понятия "проектирование" Проектирование - это процесс, при котором производится сбор информации о проектируемом объекте и его изготовление Проектирование - это процесс, при котором исходная информация о проектируемом объекте преобразуется в комплексе конструкторско-технологических документов для его изготовления Проектирование - это процесс, при котором объект используется как исходная информация для проектирования Проектирование - это процесс, при котором на основе исходной информации о проектируемом объекте производится его изготовление В чем ошибки: 1. Слишком много текста. 2. Слова "проектирование - это процесс, при котором" повторяются в каждом варианте. Что следует сделать: 1. Вынести повторяющиеся слова в текст задания. 2. Сделать дистракторы более похожими на правильный ответ, чтобы он не выделялся своей длиной и точностью. 3. Можно сменить тип вопроса на "пропущенное слово" или "поле ввода". Как правильно: Вариант 1 Проектирование - это процесс, при котором объект используется как исходная информация для разработки комплекса конструкторско-технологических документов производится сбор информации о проектируемом объекте и его изготовление исходная информация о проектируемом объекте преобразуется в комплексе конструкторско-технологических документов для его изготовления на основе исходной информации о проектируемом объекте производится его изготовление Как правильно: Начало формы Процесс, при котором исходная информация о проектируемом объекте преобразуется в комплексе конструкторско-технологических документов для его изготовления, называется   Конец формы   ТИПИЧНЫЕ ОШИБКИ - Недопустимые варианты Пример 1: Ценовая политика предприятия не включает в себя: Начало формы определение базисных цен расчет лизинговых платежей влияние условий поставки товара все ответы верны правильного ответа нет Конец формы   Как правильно: Ценовая политика предприятия включает в себя: Начало формы определение базисных цен расчет лизинговых платежей влияние условий поставки товара ... Конец формы   В чем ошибки: 1. Формулировка содержит отрицание. 2. Варианты: "все ответы верны" и "правильного ответа нет" в тестовых заданиях не допускаются. 3. Вариант "все ответы верны" всегда работает как подсказка, если он верен. Что следует сделать: 1. Меняем тип вопроса на "многие из многих". 2. Устраняем отрицание. 3. Исключаем недопустимые варианты. При необходимости - добавляем дистракторы. Пример 2: Плотность тока - это… а) скалярная физическая величина,… б) векторная физическая величина,… в) модуль которой численно равен… г) заряду, прошедшему… д) току, прошедшему… е) через единичное поперечное сечение проводника,… ж) в единицу времени; з) в единице объема проводника Начало формы а, в, г, е а, в, д, е б, в, г, е, ж а, в, д, з   Конец формы     Как правильно: Плотность тока – это: Начало формы скалярная физическая величина, векторная физическая величина, модуль которой численно равен заряду, прошедшему току, прошедшему через единичное поперечное сечение проводника в единицу времени в единице объема проводника Конец формы   В чем ошибка: 1. Вопрос совершенно нечитабален. На понимание задания и поиск правильного ответа требуется очень много времени. 2. Правильный ответ выделяется среди других ответов. Что следует сделать: 1. Меняем тип задания на "многие из многих" и выносим элементы формулировки в список вариантов. ТИПИЧНЫЕ ОШИБКИ - Варианты-подсказки Пример: Визуальный контакт (взгляд): Начало формы направление* Конец формы Начало формы длина паузы* Конец формы Начало формы частота контакта* Конец формы Начало формы дикция Конец формы Начало формы темп речи Конец формы Как правильно: Характеристики визуального контакта: Начало формы направление Конец формы Начало формы длина паузы Конец формы Начало формы темп фиксации Конец формы Начало формы интенсивность Конец формы Начало формы время фиксации Конец формы В чем ошибка: 1. Бросается в глаза несуразность постановки задания (вопрос взят из тестовой базы по проверке остаточных знаний для аттестации и аккредитации вуза). 2. Какое отношение к визуальному контакту имеют дикция и темп речи? (правильные варианты отмечены звездочками). Что следует сделать: 1. Уточнить формулировку задания и создать список вариантов, не противоречащих контексту задания. ТИПИЧНЫЕ ОШИБКИ - Недостаток вариантов Пример: Как правильно: В чем ошибка: если в обеих колонках число элементов одинаково, то последняя пара значений выстраивается сама собой, методом исключения. Что следует сделать: добавить 1-2 (а при необходимости и более) дистрактора, чтобы на последнем шаге тоже было из чего выбирать. ТИПИЧНЫЕ ОШИБКИ - Слишком много пропусков Пример: Заполните пропуски в формулировке теоремы: Точка ... прямой линии тогда и только тогда, когда ... точки лежат на ... проекциях данной прямой посмотреть   Точка принадлежит прямой линии тогда и только тогда, когда проекции точки лежат на соответствующих проекциях данной прямой. Как правильно: Закон принадлежности гласит: Точка принадлежит прямой линии тогда и только тогда, когда проекции точки лежат на соответствующих проекциях данной прямой. В чем ошибка: пропущены три слова, являющиеся разными частями речи. Что следует сделать: 1. Сформулировать задание без использования глагола повелительного наклонения (здесь это уместно). 2. Выбрать одно, принципиально важное пропущенное слово.

Похожие:

	Программа по формированию навыков безопасного поведения на дорогах... Повторить и углубить знания учащихся по теме, организуя индивидуальную работу, фронтальную беседу; с помощью выполнения практических...		Доклад к семинару для кадастровых инженеров на 13. 12. 2013 г. Тема:... Тема: Типичные ошибки, допускаемые кадастровыми инженерами при подготовке необходимых документов для осуществления государственного...
	Состав тестовых заданий Продумайте тематику тестовых заданий всех форм (10) для итогового контроля учебных достижений по выбранной Вами теме. Составьте тест-лестницу...		Постановка и решение задач механики при создании электромагнитной системы токамака Охватывают все основные типичные проблемы механики эмс токамаков и показывают практические пути их решения
	Методические рекомендации по составлению и применению тестовых заданий Краткая характеристика тестовых заданий, методики их составления и применения для проведения различных видов и способов контроля...		Памятка для преподавателя Челябинск 2009 Даны основные требования... Предназначается преподавателям, авторам-разработчикам тестовых заданий, а также слушателям сетевых курсов повышения квалификации
	Типичные ошибки при заполнении бланков ответов Единого государственного экзамена Цель: 1)помочь учащимся психологически подготовиться к новой для них форме экзамена (тестирование)		Методическая разработка на тему: «Использование адаптивной системы... «Использование адаптивной системы обучения в составлении тестовых заданий по физике в 11 классе»
	Учебно-методический комплекс по дисциплине взаимодействие лазерного излучения с веществом Копия Банка тестовых заданий в формате ast (Основная база тестовых заданий находится на сервере отдела тсо кемГУ)		Программа по формированию навыков безопасного поведения на дорогах... Типичные ошибки студентов педвузов на первых уроках при прохождении педагогической практики
	Г. Алексеевки Белгородской области Система разноуровневых тестовых... А в 2005 году, в связи с проведением на территории Российской Федерации егэ по химии, встал вопрос об использовании разноуровневых...		«Питание и здоровье» Тестирование проводится по группам согласно расписанию. На выполнение тестовых заданий студенту дается время от 1 часа до 1 часа...
	Выбор профессии Тесты по профессиям, описание профессий, статьи (типичные ошибки при выборе профессии), игры по профориентации, цели жизни, как выбрать...		Тема: Размножение и развитие Тестирование проводится по группам согласно расписанию. На выполнение тестовых заданий студенту дается время от 1 часа до 1 часа...
	Инструкция по проведению тестирования Тестирование проводится по группам согласно расписанию. На выполнение тестовых заданий студенту дается время от 1 часа до 1 часа...		Урок с систематизацией знаний и контролем уровня усвоения материала данной темы Тестирование проводится по группам согласно расписанию. На выполнение тестовых заданий студенту дается время от 1 часа до 1 часа...