СТРУКТУРА ПАРАМЕТРА СЛОЖНОСТИ ТЕСТОВОЙ ФИЗИЧЕСКОЙ ЗАДАЧИ В МОДЕЛИ РАША
А.А. Гилев5, А.В. Пашин
Самарский государственный архитектурно-строительный университет
443001, г. Самара, ул. Молодогвардейская, 194
E -mail: algil@mail.ru
В современной теории тестирования IRT ответ на тестовое задание рассматривается как вероятностное событие, зависящее от уровня подготовленности студента и уровня сложности задания. Отмечено, что в научной литературе нет единого подхода к определению факторов, влияющих на сложность задачи. Сделано предположение, что трудность задачи возрастает с увеличением количества ключевых элементов, под которыми понимают элементы информации, используемые в решении задачи. На основе статистического анализа результатов решения специально разработанных тестовых заданий сделан вывод о линейной зависимости параметра сложности задачи в модели Раша от количества ключевых элементов решения. Полученный результат позволяет на стадии разработки тестовых задач реально оценивать их сложность и прогнозировать итоги тестирования.
Ключевые слова: модель Раша, параметр сложности задачи, когнитивные операции.
В последнее время в практику преподавания физики в высшей школе активно внедряется такая форма контроля, как тестирование. Его используют для получения объективных оценок работы кафедры и вуза, а также в процессе текущей и сессионной аттестации студентов. Основой современной теории тестирования является Item Response Theory (IRT). В России она известна по работам Ю.М. Неймана, В.А. Хлебникова [5], М.Б. Челышковой, В.С. Кима [3] и др. как теория моделирования и параметризации педагогических тестов. Ответ на тестовое задание рассматривается как вероятностное событие, зависящее от двух латентных, т.е. не подлежащих непосредственному измерению, переменных – уровня подготовленности тестируемого и уровня сложности задания. Вероятность правильного выполнения задания теста может быть описана функцией успеха, простейшая модель которой была предложена в работах Г. Раша [5]:
 . (1)
В соотношении (1) параметры i – уровень подготовленности i-того студента и j – уровень трудности j-того задания измеряют в логитах. Функция Раша Рij, определенная на отрезке [0, 1] и называемая логистической функцией, равна вероятности того, что тестируемый i-тый студент с уровнем подготовленности i логит выполнит j-тое задание трудности j логит. Масштабный множитель 1,7 в равенстве (1) введен для совместимости модели Раша с моделью Фергюссона, где вероятность правильного решения задачи выражена интегралом нормального распределения [3]. Для всех тестируемых студентов сложность j-того задания j является объективной и независимой от уровня их подготовленности характеристикой задачи. Параметр сложности определяется лишь по окончании тестирования путем трудоемких вычислений с точностью до произвольной постоянной величины. Однако при этом его структура и способы управления остаются неизвестными. Также отсутствуют критерии, позволяющие на стадии разработки тестов оценивать их сложность и численные значения . Предварительная оценка сложности тестов является достаточно субъективной и основана лишь на опыте и интуиции разработчика.
Цель исследования
В научной литературе нет единого подхода к определению сложности задач. В работе Г.А. Балла [1] рассмотрен алгоритмический способ, основанный на оценке количества операций, необходимых для решения оцениваемой задачи. Более простым представляется метод определения сложности, сформированный на анализе структуры физической задачи. Сложность определяется количеством явлений, процессов и физических величин, значения которых надо определить. И.Я. Лернер [4] считает, что сложность задачи зависит от количества данных в условии, подлежащих учету и взаимному соотнесению. Это интуитивно понятное утверждение позволяет высказать предположение о том, что с увеличением количества ключевых элементов решения возрастает трудность решения задачи, описываемая в модели Раша параметром сложности . Чем сложнее задача, тем большее число ключевых элементов должно быть задействовано в ее решении, тем большим показателем трудности она должна быть описана. Целью исследования является определение зависимости параметра сложности задачи β от числа ключевых элементов решения.
Материал и методы исследования
Для определения параметра сложности задачи β и его зависимости от числа ключевых элементов был разработан комплекс тестов, основанный на содержании раздела «Электростатика» курса общей физики. Тест был предназначен для исследования операционального аспекта решения, поэтому для исключения влияния фактора «неосведомленности» вся необходимая «знаниевая» составляющая была приведена в тексте задания. В качестве заданий были использованы силлогизмы, содержащие различное количество общих и частных посылок, а также элементов исходных данных, используемых для формирования умозаключения. Время решения блока двадцати тестовых задач – 20-23 мин. Каждый правильный ответ оценивался в 1 балл, а неправильный – в 0 баллов. В тестировании принимали участие 76 студентов первого курса инженерных специальностей направлений «Строительство» и «Информатика».
Пример задания 1. Даны три одинаковых плоских конденсатора. На пластинах конденсаторов распределены заряды Q1, Q2, Q3. Разности потенциалов на конденсаторах – U1, U2, U3, а напряженности полей во внутреннем пространстве – Е1, Е2, Е3. Если:
1. Е3 больше Е1, а U2 меньше U3, то на каком конденсаторе самая большая разность потенциалов?
2. U3 больше U2, а Е1 больше Е3, то на каком конденсаторе находится самый большой заряд?
Пример задания 2. Даны три плоских конденсатора, постоянно подключенных к источнику ЭДС. Электроемкости конденсаторов С1, С2, С3. На пластинах конденсаторов распределены заряды Q1, Q2, Q3, расстояния между пластинами конденсаторов d1, d2, d3, а напряженности полей во внутреннем пространстве – Е1, Е2, Е3. Если:
1. d1 больше d3 в 2 раза, а d2 меньше d3 в 4 раза, то во сколько раз Е1 меньше Е3?
2. Е3 больше Е1, а E2 меньше E3, то у какого конденсатора самое малое расстояние между пластинами?
3. C3 больше C2, а C3 меньше C1, то на каком конденсаторе самый большой заряд?
Результаты исследования и их обсуждение
По завершении тестирования была сформирована бинарная матрица тестовых результатов [3] и определена мера трудности каждой задачи tj как отношение числа студентов, неправильно ответивших на j-тый вопрос, к полному числу участников тестирования. Параметр tj, по сути, есть вероятность неправильного решения соответствующей задачи. Диапазон его изменения – отрезок [0,1]. Для очень трудных вопросов параметр tj стремится к наибольшему значению, равному единице, для очень простых – к нулю. На практике обычно используют параметр gi = 1-ti, равный вероятности правильного решения i-той задачи. Из первоначального набора заданий были убраны самые простые и самые сложные со значением параметра сложности g = 1 и g = 0. Все предложенные вопросы по значению параметра сложности были разделены на три группы: простые 0,8СР всей группы тестируемых. Числовые параметры распределения результатов тестирования: размах b = bmax – bmin = 0,51; математическое ожидание bСР = 0,64; дисперсия D = 0,036; среднеквадратичное отклонение σ = 0,19; медиана bm = 0,67; асимметрия s = -0,24; эксцесс = -1,1. Распределение плотности вероятности [2] решения студентами тестового задания на шкале оценок из интервала [0, 1] приближенно соответствовало функции Гаусса (см. рисунок).
Распределение плотности вероятности f(b) по шкале оценок b
В дальнейшем под ключевыми элементами решения будем понимать элементы информации, которые необходимо использовать в решении задачи. Они могут содержаться в условии или вопросе задачи и быть заданы явно, например как значения физических величин, и неявно – как утверждения или зависимости, являющиеся элементами учебных знаний. Необходимые когнитивные операции для выполнения заданий рассматриваемого теста – анализ, сравнение и логические умозаключения на их основе. Каждое задание теста содержит минимальное количество m элементов данных (конкретные значения или утверждения о функциональной зависимости величин), необходимых для формирования решения и ответа на вопрос задачи. Их перечень и величина m для примеров заданий приведены в табл. 1. В таблице в символьной форме указан минимальный перечень ключевых элементов решения, соответствующий оптимальной последовательности умозаключений. Реальные варианты решений, представленных студентами, иногда содержали дополнительные элементы решения, которые не являлись необходимыми. Их количество было избыточным и превышало минимальное на одну-две единицы.
Таблица 1
Перечень и количество ключевых элементов решения
Номер
задачи, j
|
Используемые ключевые элементы
для формирования решения
|
Количество ключевых
элементов решения, mj
|
|
E3, E1, E , d=const, U1, U2, U3
|
7
|
|
E1, E3, E, d=const, Q , C=const, U1, U2, U3
|
9
|
|
E1, E2, E3, E, U=const, dmin
|
6
|
|
C1,C2,C3,  , Q=CU, U=const, QmaxCmax
|
7
|
Как показывает анализ структуры представленных решений, сложность задач зависит от количества m используемых в решении информационных элементов. При увеличении их числа затруднительной и, видимо, энергетически затратной становится, прежде всего, операция анализа. При этом возрастает количество элементарных операций, необходимых для получения конечного результата. В условиях ограничения времени выполнения всего теста это приводит к уменьшению числа студентов, выполнивших его успешно, или к увеличению параметра сложности задачи.
Для определения значений латентных переменных j и i, характеризующих уровень достижений j-того студента и сложность i-того задания, достаточно информации, содержащейся в бинарной матрице первичных ответов Aij (0 или 1) студентов. В теории IRT оценки студентов Sj (j = 1…N, N – число студентов) и оценки сложности тестовых вопросов Wi (i = 1…M, M – число тестовых вопросов)
 (2)
рассматриваются как случайные величины. Они могут быть реализованы при разных комбинациях слагаемых элементов, являющихся бинарными оценками Aij (0 или 1) ответов j-того студента на i-тый вопрос теста. Тогда под оценками Sj и Wi нужно понимать средние значения соответствующих сумм:
 (3)
Среднее значение оценки ответа j-того студента на i-тый вопрос теста равно соответствующей вероятности Pij правильного ответа, определенной в модели Раша функцией успеха следующим соотношением:
 . (4)
После ряда преобразований из соотношений (3) и (4) получим систему (N+M) нелинейных уравнений, необходимую для вычисления переменных 1, 2,…, N и 1, 2,…, M, характеризующих уровень достижений студентов и сложность тестовых заданий [5]:
 (i = 1,…,M; j = 1,…,N) (5)
Для решения этой системы уравнений методом последовательных приближений были использованы стандартные средства математического пакета Mathcad. Для ускорения сходимости в качестве начального приближения взяты значения переменных, полученные в результате численного приближенного решения системы (5) в последовательности, описанной в работе М.Б. Челышковой [6]. Для проверки найденных значений корней проводилось численное решение системы уравнений (5), основанное на другом алгоритме, описанном в работе [7]. Различия полученных результатов после нормировки среднего уровня сложности заданий СР = 0 не превышали 0,001 логита. Результаты вычислений параметра сложности примеров тестовых задач приведены в табл. 2.
Таблица 2
Значения параметра сложности задач
Номер задачи, j
|
1
|
2
|
3
|
4
|
5
|
m
|
7
|
9
|
5
|
6
|
7
|
j (логиты)
|
0,44
|
4,81
|
-2,70
|
-1,02
|
0,44
|
Расчет корреляции значений параметра сложности задач и количества ключевых элементов решения m выявил наличие линейной зависимости (коэффициент корреляции Пирсона k = 0,9):
 . (6)
Аналогичный результат был получен на тестовом материале из других разделов курса общей физики (механика, молекулярная физика и др.) при дополнительном тестировании 47 школьников 10-го и 11-го классов, а также 49 студентов 1 и 2 курсов. Бинарные матрицы тестовых ответов обрабатывались в рассмотренной выше последовательности. Вычислялись параметр сложности задач и количество содержащихся в них ключевых элементов решения. Для всех групп тестируемых значения этих величин линейно зависимы. Коэффициент пропорциональности А в соотношении (6) изменялся в пределах от 0,6 до 1,4 в зависимости от возраста тестируемых и содержания тестовых задач. При этом корреляция Пирсона была статистически значимой и варьировалась в пределах от 0,6 до 0,97. Заметим, что шкала сложности задач является интервальной. На ней значения определены с точностью до произвольной постоянной. Однако при условии нормировки среднего уровня сложности заданий СР = 0 величина параметра В изменялась незначительно в интервале от 5,8 до 6,4 для всех групп тестируемых.
|
