К проблеме объективации педагогической диагностики и тестирования

УДК 004.827,855 ББК 3281; 2218 К ПРОБЛЕМЕ ОБЪЕКТИВАЦИИ ПЕДАГОГИЧЕСКОЙ ДИАГНОСТИКИ И ТЕСТИРОВАНИЯ Г.Н. Зверев, д.т.н., проф. каф. Компьютерной математики Тел.: (347) 228-66-20; E-mail: gnzv@mail.ru Н.Н. Зверева, ст. преподаватель каф. Экономической информатики Тел.: (347) 232-33-97; E-mail: nzvereva@bk.ru Уфимский государственный авиационный технический университет http://www.ugatu.ac.ru/EC_INF/ Обсуждается проблема формализации и объективации тестирования. Введены унифицированные шкалы оценок точности/погрешности выбора правильных ответов тестового задания, упорядочения объектов, их классификации и установления соответствия. Предложены новые формы заданий и оценок ответов в шкалах неклассических логик с информационной семантикой. Ключевые слова: тестирование, педагогика, диагностика, точность, неопределенность, неклассические информационные логики 1. Введение Достоверность индивидуальных и групповых оценок результатов обучения, обоснованность методов и средств их получения для разных условий и целей всегда были социально значимыми и до сих пор вызывают, пожалуй, наиболее острые обсуждения при объективном анализе педагогической деятельности, ее аттестации, контроле качества образования в целом. Педагогическая диагностика знаний ученика, студента, курсанта выявляет их недостатки в процессе обучения, при собеседовании с педагогом, выполнении заданий, сдаче экзаменов. В психологии и педагогике предложено много теоретических моделей, процедур измерения и диагностирования внутренних состояний чрезвычайно сложных мыслительных и эмоциональных структур и процессов в психике испытуемых, применяя понятия и модели различного уровня обоснованности и объективности [1-7]. Педагогическое тестирование значительно проще психоанализа и психодиагностики: в учебном процессе заранее определены цели и процедуры обучения, ученикам дается учебный материал, который, по сути, является исходным эталоном при сравнении с ответами испытуемых. Вместе с тем педагогические измерения и методы обработки результатов исследований знаний, скажем, студента, группы студентов, потока, факультета, вуза до сих пор имеют высокий уровень субъективности и далеки от достигнутых уровней точности и объективности, которые нам демонстрируют исследования в физике, технике, метрологии. Педагогическая диагностика, педагогические измерения имеют единую информационную основу с технической, медицинской и т.д. диагностикой и, в свою очередь, должна учитывать специфику взаимодействия с “проблемным объектом” – учеником, студентом. Существующие формы тестов, технологии тестирования, способы сравнения ответов испытуемых с эталонами не удовлетворяют насущным требованиям образовательного процесса и вызывают в обществе, в научно-педагогической среде справедливые нарекания. Разработка тестов нового поколения является серьёзной научной проблемой. Тесты широкого применения должны учитывать типовые функциональные модели обучающих и обучаемых, их взаимодействия в проблемных педагогических ситуациях усвоения учебного материала, самоконтроля, вычисления текущего рейтинга, адаптивного тестирования, итогового экзамена, иметь объективные оценки качества учебного материала, тестов, технологии обучения и тестирования. Мы находимся в начале долгого пути решения этих важных проблем. В данной работе приведены и обсуждаются некоторые результаты формализации и объективации традиционных видов тестов, их естественных обобщений. Формализация призвана выявить и зафиксировать предположения, лежащие в основе постановок задач диагностики и тестирования, в семантике получаемых результатов. Следует различать субъективную и объективную формализацию. В первом случае модели строятся на основе субъективных представлений и понятий, не подкрепленных оценками их адекватности реалиям, либо используются параметры моделей, значения которых не измеряются, а назначаются из субъективных соображений, например, в моделях Раша и Бирнбаума. Объективная формализация предполагает контроль адекватности понятий, моделей, исходных данных в строго оговоренном классе проблемных ситуаций диагностики и тестирования, выбор научно обоснованных мер точности/погрешности решений испытуемых, оценку достоверности и полезности конечных результатов педагогических исследований. Чтобы уменьшить влияния искажающих факторов, приблизиться к достижимому идеалу общих и индивидуальных решений проблемы оценивания поверхностных и глубинных уровней знаний обучаемых, необходим подходящий концептуальный аппарат, который активно развивается в педагогике [5-9] и теоретической информатике [10]. 2. Постановка проблемы Прежде перечислим первоочередные, по нашему мнению, задачи теории и практики педагогической диагностики и тестирования знаний обучаемых: – конструктивная и адекватная формализация основных понятий тестологии: объекты исследований, измеряемые свойства знаний испытуемых, средства измерений, обработки информации и их шкалы, сложность и трудность задания, точность и погрешность решения, мера случайности угадывания правильного решения; – построение моделей объектов и процессов педагогических исследований, оценка адекватности и неопределенности моделей; – анализ свойств применяемых тестов и технологий, их усовершенствование и синтез новых, обеспечивающих заданные характеристики по трудоемкости и достоверности результатов. Уточним цели, объекты педагогических исследований, измеряемые свойства и средства измерений с позиций формальной информационной семантики [10]. Цель тестирования – определить в некоторой шкале измерений/вычислений уровень знаний обучаемого по данной дисциплине или заданию. Цель диагностирования – выявить плохо усвоенные понятия, разделы дисциплины, причины неудач при восприятии, усвоении нового учебного материала и последующем применении полученных знаний. Объектом исследования при тестировании являются приобретенные учеником знания по данной дисциплине. Измеряемое свойство – мера соответствия знаний обучаемого исходным (эталонным) знаниям учебного курса, или иначе, количественная или качественная мера их расхождения – отсутствие знаний либо их ошибочность, поэтому свойство, характеристика приобретенного знания оценивается, соответственно, в позитивных (точность, полнота) или негативных (погрешность, незнание) шкалах оценок. Объектом исследования при диагностике является выявление пробелов в фактических и понятийных, теоретических знаниях данной и предшествующих дисциплин, заблуждений и ошибок в смысловых структурах обучаемых, в механизмах понимания учебной информации, в применяемых методах анализа и синтеза новых знаний. Первичные измерители в процедурах диагностики и тестирования – это классификаторы, распознаватели полученных ответов, решений заданий при сравнении с эталонными знаниями и счетчики числа правильных и ошибочных решений. Эти фактические данные затем обрабатываются вместе с априорной (теоретической) информацией. В связи высокой сложностью проблемы объективации и нерешенностью многих вопросов тестологии начнем с простейших педагогических ситуаций, моделей и соответствующих им гипотез об адекватности моделей реальным ситуациям, о связях между внутренними структурами знаний в памяти обучаемых и выдаваемыми ими решениями тестовых заданий с последующим наращиванием сложности, детальности модельных описаний и разнообразия соответствующих им вариантов педагогических ситуаций. Наиболее простой информационной ситуацией тестирования является итоговый экзамен по определенной дисциплине, который состоит в выполнении некоторого множества заданий теста с оценкой каждого решения задания в двоичной шкале: верно (1 балл) – неверно (0 баллов). Затем оценки по всем заданиям суммируются, число набранных баллов нормируется, преобразуется в значение итоговой (5-балльной, 100-балльной, …) шкалы экзаменационных оценок. Такой способ индивидуальной оценки позволяет перейти к групповой оценке испытуемых по данной дисциплине в виде среднего значения, дисперсии, моды, медианы и т.п., а также к индивидуальным и групповым оценкам по многим дисциплинам, к взвешенным оценкам для продвинутых, типичных, отстающих учеников и т.д. Описанная схема тестирования является приемлемой по уровню объективности, представленные в ней упрощения реальных ситуаций контроля знаний допустимы, а полученные оценки достаточно адекватно отражают уровень знаний учеников, если истинны следующие гипотезы: – набор заданий теста репрезентативен, т.е. достаточно полно представляет эталоны требуемых существенных знаний и контролирует освоение дисциплины в целом; – все задания имеют одинаковую сложность и важность, иными словами, имеют одинаковые объемы покрываемых тестовым контролем понятий и разделов изучаемой дисциплины; – задания теста в определенной степени независимы, контролируют различные разделы и учебные единицы дисциплины, в наборе заданий нет повторов; – ответы обучаемых объективно соответствуют уровню их знаний изучаемого курса; – двоичная шкала оценок каждого задания адекватно отражает степень знания данного вопроса, частичные (неполные) решения признаются полной неудачей; – незнание и ошибочное знание имеют одинаковую нулевую оценку. Нарушение истинности этих предположений ведет к необходимости усложнения данной модели тестирования, к ее различным усовершенствованиям, которые увеличивают адекватность моделей и объективность итоговых оценок, уменьшают уровни систематических и случайных ошибок в оценках знаний, обусловленных качеством применяемых тестов и технологий тестирования, последовательности предъявляемых заданий, особенностями невоспроизводимого поведения и психологического состояния испытуемых, не связанных с их реальными знаниями. В итоговом экзамене от этих особенностей обычно абстрагируются. 3. Формы тестовых заданий и оценки качества решений Вопросы и ответы тестовых заданий могут быть произвольными, не обязательно формализованными, которые по возможности объективно оценивает педагог. Формы тестовых заданий и решений делятся на однозначно определенные (замкнутые), формализованные для ручной и машинной обработки, либо не формализованные (свободные) ответы, контролируемые преподавателем: текстовые, символьные, графические и т.п. Традиционно выделяют следующие виды формализованных заданий и решений: – выбор подмножества правильных ответов, элементов заданного множества возможных решений, включая выбор пустого и полного подмножества; – упорядочение по заданному признаку элементов множества, в этом случае ответ есть последовательность элементов (список, вектор); – выбор и упорядочение элементов выбранного подмножества; – распознавание и классификация элементов заданного множества, отнесение их к одному из классов, перечисленных в задании, в частности, установление взаимно-однозначного соответствия между элементами двух списков одинаковой длины (элементами множества и заданными классами). Для этих форм заданий необходимо определить меры точности или погрешности ответа испытуемого. Меры точности являются фундаментальными критериями любой информационной деятельности, в данном случае, критерием качества ответов испытуемых и должны заменить разнообразные косвенные показатели, используемые в практике тестирования, скажем, коэффициенты сходства и различия решения и эталона (Фора, Пирсона, Кендалла, Спирмена и др.), имеющие размытую семантику и многозначные толкования. Разнообразные формы заданий должны характеризоваться мерами абсолютных и относительных, систематических и случайных ошибок решений испытуемых. Весьма сложное поведение обучаемого во время тестирования порождает в общем случае случайные ответы, которые не отражают действительные знания и искажают результаты тестовых оценок. Поэтому необходимо также для каждого типа формализованных заданий найти меры случайного угадывания при отсутствии знаний по заданному в тесте вопросу. Оценки точности/погрешности предъявляемых решений и вероятности (частости-редкости) случайного угадывания правильного решения составляют основные компоненты метрологии педагогического тестирования. 4. Задания с выбором правильных вариантов Самым распространенным видом тестовых заданий является тип «один из многих», когда тестируемый должен выбрать единственный верный вариант из множества представленных в задании ответов-альтернатив. Другой распространенный тип заданий – выбор нескольких правильных ответов. Ошибки решений и вероятность случайного выбора правильного ответа в этих случаях зависят от четырёх параметров: N – общее число возможных ответов, предложенных в тесте, N≥2; М – число правильных ответов в этом множестве, 0≤M≤N; n – число ответов, выбранных испытуемым, которые он считает правильными, 0≤n≤N; m – число правильных ответов в выборке (подмножестве) испытуемого, 0≤m≤n. Значения параметров задания N и M выбирает разработчик теста, параметры n и m определяются при тестировании. Важно различать две ситуации в форме задания и в информированности испытуемого: он знает из текста и типа задания число М правильных ответов из N возможных (для случая заданий типа «один из многих» М=1); значение М испытуемому заранее неизвестно, известно только, что 0≤M≤N. Во второй ситуации должна быть изменена традиционная формулировка задания и использоваться, например, такая форма: «Выберите из данного перечня все правильные ответы». Отвечая на этот вопрос, испытуемый выбирает n ответов в соответствии со своими знаниями или догадками: 0≤n≤N, в первой же ситуации при разумном поведении испытуемых n=M. Выбор n ответов из N возможных, когда М неизвестно, распадается на N независимых подзадач в двоичной шкале {да, нет} по каждому элементу множества альтернатив и решение принимается независимо от других решений, когда же М известно подзадачи анализа альтернатив и принимаемые решения становятся зависимыми. Предположим, что испытуемый плохо знает предложенный учебный материал и решает задания теста наугад, по интуиции, прошлому опыту, ассоциативным связям слов в тексте задания, выбирает подмножество ответов численностью n, из них получает m правильных. В случае, когда число М ему неизвестно, число возможных альтернатив выбора равно числу подмножеств 2N. Предельная неопределённость решения возникает при равновероятности альтернатив, соответствующая случайному выбору. Тогда вероятность случайного угадывания единственного подмножества, состоящего из М правильных ответов, равна: PR=2–N. Если количество вариантов в задании N=7, вероятность PR равна: PR = 1/27 = 1/1288. В подобных ситуациях случайным угадыванием пренебрегают. Таким образом, эффект случайного выбора правильного ответа становится решающим при малых N когда значение параметра М становится известно испытуемым из текста задания, из прошлых испытаний и т.п. Если М известно хотя бы приближенно , тогда n= и вероятность случайного ответа быть истинным увеличивается. В технической диагностике, в задачах контроля качества партии изделий решаются аналогичные задачи и оцениваются соответствующие вероятности [11]. Комбинаторная вероятность случайного выбора (при равномерном распределении альтернатив) из N ответов подмножества численностью n, в котором содержится m правильных ответов (m≤M) равна отношению числа благоприятных альтернатив к общему числу альтернатив и вычисляется по формуле: . Число сочетаний n элементов из N возможных есть биномиальный коэффициент, значение которого выбирается из треугольника Паскаля либо вычисляется по формуле, содержащей факториалы: . Данные формулы позволяют оценить снизу вероятности различных типов ошибок решений и ответить на вопрос о вероятности случайного правильного ответа. Если плохо подготовленный ученик, студент знает число М, тогда для правильного ответа n=m=M и его вероятность равна: . В этой проблемной ситуации вероятности случайного угадывания правильного решения PR зависят от значений параметров задания N,М < 8. При известном обучаемым значении M вероятности представлены в таблице 1 (в знаменателях стоят биномиальные коэффициенты). M N 0 1 2 3 4 5 6 7 2 1 1/2 1 3 1 1/3 1/3 1 4 1 1/4 1/6 1/4 1 5 1 1/5 1/10 1/10 1/5 1 6 1 1/6 1/15 1/20 1/15 1/6 1 7 1 1/7 1/21 1/35 1/35 1/21 1/7 1 2–N 1 1/2 1/4 1/8 1/16 1/32 1/64 1/128 Таблица 1. Зависимости вероятности случайного угадывания от числа альтернатив. Последняя строка таблицы определяет зависимость вероятности PR от N, когда значение М неизвестно испытуемым. Сравнивая эти вероятности в одних и тех же тестовых ситуациях можно заключить: знание М в несколько раз увеличивает вероятность угадывания. Применим формулу PR для оценки вероятности случайного угадывания почти точного решения, если экзаменуемому приближенно известно число правильных ответов в задании, например:  при N = 5. Вероятность того, что в случайно выбранном списке все ответы правильные, т.е. m = n, зависит от М в допустимом интервале значений: 1 М  N =5 и равна PR =  /. При М =5 имеем n = 4, PR =1. При М = 4 длина выбранного списка ответов n = 3; вероятность того, что все ответы правильные: PR = 0.4; а при точном знании М = n =4 вероятность в два раза меньше. Пусть теперь испытуемый решил, что n = , 0 М 4; тогда при любых значениях М из этого интервала вероятность того, что решения заданий правильные, равна нулю. Более важной для анализа свойств задания и теста в целом является установление обоснованных мер точности и погрешности решений. Для диагностирования и управления процессом обучения более удобны негативные шкалы мер ошибок, а результаты экзамена представляют в позитивной шкале оценок. В теории распознавания объектов и ситуаций, в военной науке выделяют следующие типы ошибок дихотомической классификации, в нашем случае, разделение альтернатив на истинные и ложные: – ошибки первого рода Δ1 – пропуск цели, испытуемый выбрал не все правильные ответы задания, тогда величина Δ1 равна числу пропущенных правильных ответов; – ошибки второго рода Δ2 – ложная цель (ложная тревога), испытуемый в качестве правильных выбирает неправильные ответы задания. Ошибка решения задания есть сумма ошибок первого и второго рода = 1+2, она равна числу ошибочных оценок альтернатив в списке вопросов задания. Эта величина (численная мера ошибок решения) есть функция четырёх аргументов – параметров информационной ситуации: Δ(N,M, n,m). Эти параметры зависимы: 0≤M≤N, 0≤n≤N, 0≤m≤n, m≤M, т.е.0≤m≤min(M,n). Ошибка первого рода: Δ1=M–m, ошибка второго рода: Δ2 = n – m, суммарная ошибка: Δ = M + n – 2m. Разложение полной ошибки на две составляющие связано с различными причинами их порождения и разными последствиями этих ошибок, что важно учитывать при диагностике и управлении обучением. Ошибка первого рода в основном отражает неполноту знаний, второго рода – искаженность знаний. Пределы изменения ошибок Δ1, Δ2, Δ определяются при постоянных и переменных параметрах задания. Пусть число предлагаемых вариантов N задано, а величины M,n,m изменяются в указанных выше пределах, тогда абсолютные численные меры ошибок лежат в интервале 0Δ1,Δ2,Δ N, относительные (нормированные, приведенные к единичному интервалу значений) меры ошибок п1 = Δ1/N, п2 = Δ2/N, п = Δ/N = п1 + п2 в метрологии называют приведенными погрешностями измерений, их значения лежат в числовом интервале [0,1], как и значения математических вероятностей. Пусть теперь заданы N и M, а параметры n и m варьируются в допустимых пределах. Тогда абсолютные меры ошибок решений обучаемых лежат в интервалах: 0 ≤Δ1≤M, 0≤Δ2≤N–M, 0≤Δ≤N.Относительные ошибки первого 1 = Δ1/M и второго рода 2 = Δ2/N–M при заданном значении М  0, M  N, известном или неизвестном испытуемым, лежат в полном единичном интервале (в отличие от приведенных погрешностей первого и второго рода). Полная относительная ошибка  = Δ/N совпадает с полной приведенной погрешностью решения задания: 0 =п  1,  ≤ 1 + 2. Представляет также интерес способ нормировки ошибок и приведение их к единичному интервалу вариаций значений при трех заданных параметрах N,M,n тестовой ситуации. Пределы изменения ошибок решения в этом случае определяются минимальным и максимальным значением величины m, входящей со знаком минус в формулы ошибок, поэтому Δ1min= M – mmax, Δ1max= M – mmin, Δ2min= n – mmax, Δ2max= n – mmin, пределы вариаций полной ошибки Δmin=M + n – 2mmax, Δmax= M + n – 2mmin. Минимальное число mmin правильных ответов в выборке при заданных N,M, n равна нулю при N – M > n и равна mmin = n – N + M при N – M  n. Зная пределы изменения абсолютных мер ошибок, переходят к относительным мерам, скажем, полная относительная ошибка при фиксированных параметрах задания n,M,N есть с = (Δ– Δmin) / ( Δmax – Δmin), 0c, c1, c21, c  c1+c2. Приведем примеры: 1) n=0, m=0, M≥1, Δ=Δ1=M – 1, Δ2=0; 2) n=1, m=1, M≥1, Δ=Δ1=M – 1, Δ2=0; 3) n=1, m=0, M≥1, Δ1=M, Δ2=1, Δ=M+1 – сумма ошибок первого и второго рода; при ошибочном выборе одного объекта из двух возможных: M=1, N=2, абсолютная ошибка Δ=2 – и пропуск цели, и ложная тревога, хотя выбран только один ответ – все приведенные в задании альтернативы оценены неверно, относительная ошибка  = 1 = 100, если же N=4, то =0.5=50, при большом числе альтернатив, скажем, N = 20 относительная ошибка равна 0.1=10 .

Похожие:

	Методы и методики диагностики экологической культуры учащихся и готовности... Составители: В. И. Глазунов, директор регионального центра тестирования и профессиональной ориентации учащейся молодежи		Фомичева Н. С. Методы психологической диагностики и тестирования Фомичева Н. С. Методы психологической диагностики и тестирования. – М.: Ноу впо «Институт психоанализа», 37 с
	Программа курса по выбору «Основы педагогической диагностики» составлена... ...		1. теоретический анализ психолого- педагогической литературы по проблеме... Психолого-педагогической особенности личности юношеского возраста
	Перечень методических разработок Составители: М. Ю. Ярославцева, заведующая лабораторией педагогической диагностики		Программа для создания тестов; TestPlayer программа для проведения тестирования Программный комплекс диагностики знаний Тeachlab Тestmaster // Информатика и образование. 2002. – № —с. 68 – 73
	Оценка качества профессионального образования с использованием технологий... В реализации приказа №31-04/1326 от 03. 11. 2009 г. "Об обеспечении Интернет-тестирования в 2009/2010 учебном году" для организации...		Правила работы с программой электронного тестирования ипб россии... Территориального инсти­тута профессиональных бухгалтеров, ответственного за проведение тестирования (далее представитель)
	Учебно-методический комплекс дисциплины основы педагогической диагностики дн(М). В. 1 Рецензент: к п н., доц. Авдеева Н. А. (Сзф мгэи), к п н., проф. Манухин В. П.(Мггу)		Портфолио в системе педагогической диагностики Одним из ответов системы образования на запрос работодателей и местного сообщества является идея компетентностно – ориентированного...
	Основные формы диагностики достижений1 В современной педагогической практике выделяют две основные группы диагностических средств		Ультразвуковые методы диагностики в невропатологии и нейрохирургии... Эксклюзивные случаи диагностики заболеваний и поражений цнс с помощью ультразвукового метода
	П лан проведения декады начальных классов в 2013-2014 учебном году Круглый стол «Современные подходы к контрольно-оценочной деятельности начальной школы. Особенности педагогической диагностики в начальной...		Уроках математики в 10-11 классах основным критерием выбора методов... На этапе диагностики с помощью тестирования выявляется, на каком уровне владения приемами учебной деятельности находятся различные...
	Исследования Тема исследования Концепт abneigung и способы его объективации в современном немецком языке		Программа по формированию навыков безопасного поведения на дорогах... Психолого-педагогическое сопровождение в начальной школе предполагает проведение психолого-педагогической диагностики, направленной...