Организация и проведение компьютерного контроля знаний
Скачать 1.19 Mb.
|
Рисунок 5 – Задание на установление соответствия Задания на установление соответствия обычно применяются при текущем контроле. За каждое правильно установленное соответствие испытуемый получает один балл. Если задания такой формы применяются в одном тесте вместе с заданиями других форм, то возникает проблема сравнительного взвешивания вклада каждого задания в общую сумму баллов. Для выравнивания тестовых результатов используются различные методы, самый простой из которых - все соответствия каждого задания рассматривать как единое задание, и, если допущена хотя бы одна ошибка, испытуемый получает 0 баллов, как не знающий материал в целом. Более сложная, но и более эффективная методика состоит в том, что за полностью правильный ответ на задание (когда правильно установлены все соответствия), испытуемый получает 1 балл. Если некоторые (или все) соответствия испытуемым были установлены неправильно, то из 1 вычитается величина k/N, где k - количество неправильно установленных соответствий, а N - общее количество соответствий, которые необходимо установить в данном задании.  На установление правильной последовательности. В задании требуется определить порядок следования элементов множества (например, символов, слов, формул, рисунков). Данная форма (рисунок 6) наиболее близка к форме на установление соответствия и может быть рассмотрена как ее частный случай. Рисунок 6 – Пример тестового задания на установление правильной последовательности Тестовые задания данной формы могут использоваться для определения знания испытуемым основных понятий и законов изучаемой дисциплины. При подготовке заданий на установление правильной последовательности необходимо давать им четкие и однозначные названия, проводить тщательную алгоритмизацию контролируемой деятельности в соответствии с нормативными требованиями, требованиями эффективности, техники безопасности и т.п., при условии непротиворечивости всех этих требований. Каждая форма тестовых заданий имеет свои достоинства и недостатки. Как правило, в открытом тестировании и тестировании на установление соответствия число возможных комбинаций намного больше, чем при тестировании выбором варианта ответа, что существенно снижает возможность угадывания правильного ответа.
Типы тестовых вопросов Прежде чем перейти к собственно видам тестовых вопросов, конкретизируем некоторые определения. Чтобы не путать понятия тестового вопроса и тестового задания, договоримся понимать эти термины следующим образом.
Рассмотрим область тестовых вопросов, а точнее тот ее аспект, который связан с созданием тестовых систем для функционирования на вычислительной технике. В настоящее время наиболее широко распространены тестовые вопросы следующих типов [3]. Тип А - наиболее простой. В нем в качестве вопроса фигурирует фраза в вопросительной или утвердительной форме, и предлагается только два возможных варианта ответов: "Да" или "Нет". Один из этих ответов является истинным, другой - ложным. Тип Б. На поставленный вопрос нужно дать ответ, выбрав один или несколько пунктов из предложенных вариантов. При этом предполагается, что среди предложенных вариантов ответа присутствуют все правильные, а также несколько ложных. Тип В. Требуется заполнить пропуски в предложениях текстовыми фрагментами, предложенными в качестве вариантов ответа. При этом среди предлагаемых фрагментов обязательно присутствуют все правильные, а также несколько ложных.
Тип Г. Требуется установить и указать соответствие между элементами двух списков. Предполагается, что списки имеют одинаковую длину (одинаковое количество элементов) и существует однозначное соответствие между элементами списков. Тип Д. Требуется переставить элементы списка в соответствии с заданным условием. Остановимся пока на таком количестве типов разнообразных тестовых вопросов и задумаемся: хорошо ли, что типов вопросов много? Можно, несмотря на все возражения, однозначно утверждать, что это плохо, и вот почему. Во-первых, вопросы разных типов различны по количеству в них содержания, которое необходимо осмыслить и обработать, то есть у них разная степень трудности и (или) трудоемкости. Во-вторых, вопросы разных типов значительно различаются по количеству действий, которые необходимо предпринять испытуемому в процессе ответа на них; некоторые из них попросту "многодельны". В третьих, разные типы вопросов требуют от испытуемых разных типов действий. В четвертых, разные типы тестовых вопросов требуют различных алгоритмов их реализации и обработки при создании компьютерной тестовой системы. А теперь подумаем о том, есть ли необходимость в таком количестве типов вопросов и являются ли они все оригинальными, или некоторые из них лишь производные от других типов вопросов. Попробуем провести анализ, взяв за основу наиболее популярный тип вопросов - тип Б. 1.Рассмотрим вопрос типа А и сравним его с вопросом типа Б.
Даже на первый взгляд видно, что вопрос типа А может быть представлен как частный случай вопроса типа Б, в котором возможных вариантов ответа только два, из них один правильный. Применение вопросов всего с двумя вариантами ответов нецелесообразно, поскольку очень высока вероятность случайного угадывания ответа. Поэтому, не вдаваясь в подробности, примем на вооружение такой тезис: для минимизации вероятности угадывания правильного варианта ответа, рекомендуется использовать число вариантов ответов от 4 до 6. Эти цифры - результат практических применений различных вариантов тестовых вопросов. 2.Рассмотрим вопрос типа В и сравним его с вопросом типа Б.
Вопрос по своей сути не очень сложный, но гораздо более трудоемкий, чем вопрос типа Б. Во-первых, нужно заполнить два пропуска (дать два ответа), а во-вторых, процедура указания того, какое слово в какой промежуток необходимо ввести, гораздо более сложна как для отвечающего, так и для разработчика тестовой системы. Поэтому можно было бы упростить задачу обоим, разделив этот вопрос на два вопроса типа Б и представив их в таком виде:
Таким образом можно утверждать, что любой вопрос типа В можно преобразовать в совокупность вопросов типа Б (в общем случае эта совокупность будет включать столько вопросов типа Б, сколько пропусков в тексте вопроса типа В). И это хорошо еще и тем, что, как показывает практика, вопросы типа В, очень трудно формировать. 3.Рассмотрим вопрос типа Г и сравним его с вопросом типа Б.
При подробном рассмотрении можно заметить, что вопрос и данного типа (типа Г) может быть сведен к совокупности вопросов типа Б (для приведенного примера эта совокупность будет состоять из шести вопросов):
и так далее по всем произведениям. Конечно, при простом разложении вопроса типа Г на вопросы типа Б, возможны некоторые смысловые повторы. Но, во-первых, это не так страшно, поскольку одни и те же по смыслу вопросы имеют разную текстовую форму, а во-вторых, такие повторы при самопроверке только полезны, в то время как попадание одинаковых по смыслу вопросов в режиме тестирования маловероятно. 4.Рассмотрим вопрос типа Д и сравним его с вопросом типа Б.
И этот тип вопроса не является совершенно оригинальным и может быть представлен серией вопросов типа Б, например:
И этот факт замечателен тем, что позволяет унифицировать процедуры разработки системы тестирования, и качество этой системы явно улучшается, поскольку испытуемый при ответе на вопросы выполняет одни и те же несложные действия, смысловая нагрузка на вопросы выравнивается, вопросов становится больше, увеличивается смысловая повторяемость вопросов при их различной форме.
Проанализируем еще два примера.
По форме эти два вопроса совершенно одинаковы. Разница между ними в том, что из существа первого вопроса не очевидно, сколько правильных ответов необходимо указать, в то время, как из существа второго вопроса очевидно, что правильный ответ к нему может быть только один, и указание двух или более ответов было бы явной ошибкой. Если продолжить анализ представленных в примерах 1 и 2 вопросов на предмет их первичности по простоте, то можно определенно сказать, что вопрос, представленный в примере 1 можно разложить на несколько вопросов такого типа, который представлен в примере 2. Однако, такое разложение не всегда уместно, поскольку вопрос, представленный в примере 1 очевидно требует от испытуемого выбора и рассуждений, выполнить которые он сможет лишь при достаточно свободном владении материалом данной темы.
Поскольку в дальнейшем мы будем рассматривать только подобные варианты одного и того же типа вопросов, назовем их впредь вопросами типа 1 (как в примере 1) и вопросами типа 2 (как в примере 2). Критерии качества теста В соответствии с теорией тестирования [1] оценка качества теста проводится по его основным характеристикам: надежности, валидности и дискриминативности. Надежность теста – показатель точности и устойчивости результатов измерения при его многократном тестировании. Тест считается надежным, если он дает те же результаты для испытуемого при повторном тестировании (естественно, при условии, что испытуемый не помнит ответов). Надежность определяется коэффициентом корреляции  (2) г  де N – объем выборки; x1i – результат тестируемого во время первого тестирования; x2i – результат i-го тестируемого во время второго тестирования;
Наименьшее пороговое значение показателя надежности – 0,7; это означает, что 30% эмпирической дисперсии обусловлены разного рода случайными воздействиями. Валидность теста – комплексная характеристика, отражающая способность теста измерять именно то, для чего он предназначен, а именно, уровень подготовленности испытуемых в конкретной области. Выделяют несколько различных составляющих общего понятия «валидность», важнейшими из которых являются валидность по содержанию и по критерию.
Для критериальной валидности суждение о соответствии требованиям качества выносится на основе сопоставимости результатов тестирования с объективным и независимым критерием. Таким критерием может служить, например, показатель успеваемости участников тестирования. Количественно эту характеристику можно оценить коэффициентом корреляции между показателями тестирования и критерия. Дискриминативность теста – способность отдельных заданий и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста. Например, задания, на которые все тестируемые отвечают правильно, не имеют никакой практической ценности. Дискриминативность отдельных тестовых заданий оценивается коэффициентом сложности – отношением числа тестируемых, неправильно ответивших на задание, к общему числу испытуемых. Дискриминативность теста в целом оценивается количеством совпадений результатов тестирования в группе, обозначенных показателем, который называется Фергюссона и определяется по формуле (3), где N – объем выборки; n – число заданий; fk – число испытуемых, показавших при тестировании k-й результат.  (3) Легко доказать, что коэффициент [0, 1], причем, если результаты по всей выборке одинаковы, то = 0; если все результаты различны, то = 1. Приемлемое пороговое значение = 0,5. Оценка степени правильности ответа на вопрос Обратимся теперь к проблеме оценки степени правильности ответа на вопрос. Поскольку рассмотренные ранее вопросы типа 1 и типа 2 имеют существенную разницу в сложности выбора правильного ответа, то и оценивать качество ответа на них будем по-разному, точнее - по разным методикам. Для оценки ответа на вопрос типа 2 существует простая методика, хорошо зарекомендовавшая себя в многочисленных тестовых системах. Если тестируемый указал правильный ответ, то степень правильности ответа будет равна 100%, если не указал - 0%. Поскольку количество правильных ответов заранее известно из смысла вопроса (что равносильно подсказке), не стоит сильно усложнять методику оценки. С вопросами типа 1 дело обстоит несколько сложнее. Попробуем понять смысл поставленной задачи на примере, который поможет выявить сложность поставленной проблемы.
Предположим, что испытуемому предлагается пять вариантов ответа на поставленный вопрос, из которых верными являются два варианта (при этом испытуемый не знает заранее из смысла вопроса, что правильных ответов два). Предположим также, что при ответе на вопрос испытуемый отметил как правильный только один из пяти предложенных вариантов, причем этот вариант - один из двух правильных. Как оценить правильность такого ответа? Внимательно проанализируем эту ситуацию. Изначально, будучи неотмеченными, все правильно предложенные варианты находятся в неопределенно-ложном состоянии, в то время как все неправильные варианты в неопределенно-правильном состоянии. Поэтому предлагается за выделение правильных ответов начислять испытуемому премию, а за выделение неправильных вариантов вычитать штраф. Общая схема оценки качества ответа такова: все правильные ответы оцениваются в сумме 100% премии, все неправильные (ложные) варианты оцениваются в сумме 100% штрафа. Если испытуемый отметил все пять предложенных вариантов, то он получает 0% (100% премии минус 100% штрафа); если не отметил ни одного возможного варианта, то он также получает 0% (что соответствует здравому смыслу). Далее предлагается формула для вычисления степени правильности ответа на вопросы типа 1: С = ((А/П - Б/Л + 1)/2)*100% (4) где А - количество правильных помеченных предложенных вариантов; П - общее количество правильных предложенных вариантов; Б - количество ложных помеченных вариантов ответов; Л - общее количество ложных предложенных вариантов. Проверим, как работает эта формула. При полностью правильном ответе (т.е. помечены только все правильные предложенные варианты) мы будем иметь для нашего примера: С = ((2/2 - 0/3 + 1)/2)*100% = 100% Если испытуемый отметил один верный и два неверных из предложенных вариантов, то значение правильности ответа будет равно: С = ((1/2 - 2/3 +1)/2)*100% = 42% Если испытуемый ответил оба правильных и один неправильный из возможных вариантов ответов, то: С = ((2/2 - 1/3 + 1)/2)*100 = 83% Как видно, предложенная формула (4) вполне работоспособна, но рассмотрим еще один случай. Предположим, что испытуемый отметил только один ложный вариант, и не отметил ни одного правильного, тогда, согласно формуле (4) получаем: С = ((0/2 - 1/3 + 1)/2)*100% = 33% Полученное значение оценки неадекватно полученному ответу. Поэтому будем считать, что формула (4) хорошо работает только в случаях, когда отмечен хотя бы один из правильных вариантов ответов. Если же не отмечен ни один правильный из предложенных вариантов, то испытуемый получает 0%. Существует и еще ряд вариантов, когда, в зависимости от сочетаний правильных и неправильных вариантов предлагаемых ответов, полученная оценка будет неадекватна полученным вариантам ответов, то есть требуется дополнительная доработка алгоритма в зависимости от устоявшихся в данном образовательном учреждении методик оценки. Однако, в самом общем случае, алгоритм вычисления политомической оценки будет выглядеть следующим образом:  (5) ————————————————————————————————— организация стратегии тестирования ————————————————————————————————— Организация стратегии тестирования существенно зависит от целей проведения компьютерного тестирования. Например, система тестирования в автоматизированной обучающей системе (АОС) может использоваться в следующих целях:
Очевидно, что в случае самоконтроля задача тестирования заключается не только в оценке текущего уровня знаний, но и в обнаружении пробелов в знаниях. Подобные тесты содержат элементы самообучения, что реализуется путем интеграции тестов с основным и дополнительным учебным материалом и генерации по результатам тестирования тем для повторения либо более детального изучения.
По алгоритму предъявления тестовых заданий выделяют следующие стратегии тестирования [3].
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
реднее значение по всей выборке при втором тестировании.Похожие:
 | Курсов Ревизионной Школы исас в 2014 году № Наименование курса Продол Организация и проведение ревизий работниками внутреннего контроля предприятий. 2 уровень | | Характеристика видов контроля качества знаний по мхк При преподавании мхк следует предусмотреть разнообразные формы контроля в течение учебного года: тестирование, проведение контрольных... |
 | Уроку II. Актуализация знаний учащихся Рассказать учащимся о преимуществах компьютерного текста перед рукописными и машинописными текстами; познакомить детей с понятием... | | Различные формы и методы контроля знаний учащихся Различные формы... Краткая характеристика тестовых заданий, методики их составления и применения для проведения различных видов и способов контроля... |
| Урока Тема урока Формы контроля Практическая работа №2: «Проведение наблюдений, опытов и измерений с целью конкретизации знаний о методах изучения природы» | | Программа городского семинара «Организация и проведение Дня качества... Мбоу «Гимназия №24» стало традиционным организация и проведение Дня качества для родителей (законных представителей) и обучающихся... |
| Программа по формированию навыков безопасного поведения на дорогах... Сборник нормативно-правовых документов и методических рекомендаций: организация и проведение федерального государственного контроля... | | Цель дисциплины «Организация таможенного контроля товаров и транспортных средств» является: освоение теоретических знаний в области организации таможенного... |
| Участие в районных, городских совещаниях, семинарах и конференциях.... Проведение методических совещаний, семинаров с учителями-предметниками и классными руководителями | | Тесты для определения уровня остаточных знаний, проведения текущего,... Тестовый контроль усвоения знаний по темам «Организация и ее отраслевые особенности»; «Предпринимательство и организационно-правовые... |
| Отчет о выполнении работ (оказании услуг) для государственных нужд... «Организация и проведение конкурсов в образовательной и научно-исследовательской деятельности для аспирантов и молодых научно-педагогических... | | Программа по формированию навыков безопасного поведения на дорогах... Тема гиа (в новой форме) как одна из форм итогового контроля иноязычной компетенции выпускников IX классов. Организация и проведение... |
| План работы детской и подростковой организации «Икар» на 1 четверть 2012- 2013 учебного года Организация и проведение торжественной линейки, посвященной Дню знаний «И вновь звенит звонок» (1 – 11 класс) | | Программа по формированию навыков безопасного поведения на дорогах... Цель урока: создать условия для овладения учащимися знаниями особенностей компьютерного моделирования и характерных особенностей... |
| Программа по формированию навыков безопасного поведения на дорогах... Создание экспертной системы и проведение компьютерного эксперимента по распознанию минеральных удобрений | | Проведение школьной олимпиады по слухоречевому развитию олимпиады.... Организация повышения профессионального мастерства педагогов школы. Посещение учебных модульных семинаров на базе мбоу дпо умц г.... |
