Оценка эффективности теста на основе полиномиальной вероятностной модели

Оценка эффективности теста на основе полиномиальной вероятностной модели Руководитель : Кирий В.Г. Чан Ван Ан (Иркутск, ИрГТУ) Приводится полиномиальная вероятностная модель процесса независимого тестирования. Рассчитываются показатели эффективности теста, как среднее количество правильных ответов и среднее количество студентов, прошедших тест. Проверяется адекватность предложенной модели по результатам практического тестирования. Даются рекомендации разработчикам тестов. Тест-это система заданий,правил их применения, оценок за выполнение каждого задания, рекомендаций по интерпретаций тестовых результатов. Эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовленности в данный момент тестируемых учащихся. В данной статье предлагается полиномиальная вероятностная модель независимого тестирования, когда один или несколько студентов отвечают на вопросы теста. На каждый вопрос он отвечает либо правильно с вероятностью p, либо неправильно с вероятностью q=1-p. Возможные результаты теста для одного тестируемого ( k,n), , где k-количество правильных ответов на n вопросов. Вероятность результатов тестирования рассчитывается по известной формуле Бернулли: . Математическое ожидание числа правильных ответов равно = n p. Дисперсия числа правильных ответов равна D()= Здесь можно поставить обратную задачу определения сложности вопроса такую, чтобы обеспечить определенный процент правильных ответов, например, число правильных ответов 30%, тогда Усложним модель тестирования, когда один студент отвечает на n вопросов, но каждый вопрос имеет свою вероятность правильного ответа: . Возможные результаты теста такие же, как и в предыдущей модели, но вероятность получения соответствующего результата тестирования рассчитывается как коэффициент при в произведении биномов Ньютона: . Например, для двух вопросов произведение двух биномов равно: Как видно, здесь возможны два варианта объединения: 1.Объединяются коэффициенты при одинаковых степенях : где - вероятность того, что количество правильных ответов равно нулю; + - вероятность того, что количество правильных ответов равно одному; - вероятность того, что количество правильных ответов равно двум. 2.Члены с одинаковыми степенями не объединяются, в этом случае количество результатов тестирования увеличивается, так как учитывается номер вопроса и тогда коэффициент - это вероятность того, что на 1-ый вопрос студент ответил неправильно, а на 2-ой ответил правильно. Коэффициент - это вероятность того, что студент на 1-ый вопрос ответил правильно, а на 2-ой - неправильно. Для первого варианта можно показать, что математическое ожидание и дисперсия числа правильных ответов для одного студента на n вопросов соответственно равны: =, D()= Эта числовая характеристика также может быть использована для расчета сложности каждого вопроса теста в зависимости от запланированного среднего количества правильных ответов. Расширим модель тестирования на группу из k студентов, где все студенты имеют одинаковый уровень подготовки и отвечают на n вопросов теста с одним и тем же уровнем сложности для каждого вопроса. Возможные исходы каждого испытания: - все студенты отвечают неправильно на каждом вопросе. - один студент отвечает правильно , k-1 отвечают неправильно на каждом вопросе. - два студента отвечают правильно , k-2 отвечают неправильно на каждом вопросе. . . . . . . . . . . . - k студентов отвечают правильно. Таким образом, общее количество исходов равно k +1. Согласно [1] для такой схемы тестирования может быть использована полиномиальная модель, в соответствии с которой вероятность того, что исходы произойдут раз, где =0, k , = n (n - количество вопросов) равна: = …, где вероятность отдельного исхода для каждого вопроса вычисляется по известной формуле Бернулли: , где каждый вопрос имеет вероятность правильного ответа p, а неправильного q=1-p. Например, вероятность того, что все студенты ответили неправильно на каждом вопросе () равна , а вероятность того , что все студенты ответили правильно () равна . В качестве одного из показателей эффективности теста возьмем среднее количество правильных ответов и рассчитаем математическое ожидание числа правильных ответов, для чего найдем закон распределения вероятностей этой случайной величины. Так как закон распределения вероятностей числа правильных ответов на каждом вопросе известен: он определяется разложением бинома Ньютона в степени , то закон распределения вероятностей числа правильных ответов для всего теста, согласно теореме умножения вероятностей для независимых событий, будет равен произведению таких биномов для всех n вопросов: или . Тогда вероятность появления правильных ответов для студентов при n вопросах равна коэффициенту при в разложении по степеням этой производящей функции : . Таким образом, искомая вероятность в общем случае равна: , (-количество правильных ответов, - количество студентов, - количество вопросов). Как видно закон распределения вероятностей числа правильных ответов является биномиальным законом и, следовательно, математическое ожидание числа правильных ответов равно: , а дисперсия равна D()= Предложенный подход к расчету математического ожидания легко обобщается на тот процесс тестирования, когда вопросы имеют разную степень сложности, то есть разную вероятность правильного ответа на каждый вопрос. Для такого процесса тестирования полиномиальная вероятностная модель для вычисления вероятностей различных исходов представляет из себя произведение полиномов: . В этом случае математическое ожидание числа правильных ответов равно: , где - вероятность правильного ответа на -й вопрос. Если в качестве показателя эффективности процесса тестирования взять среднее количество студентов прошедших тест, то для этого случая предлагается полиномиальная вероятностная модель, где в качестве случайной величины выступает количество студентов сдавших тест. Возможные исходы тестирования представляют из себя следующие события: -один студент отвечает правильно на все вопросы теста с вероятностью . ………………………………………………………………………………………….. - студентов отвечают правильно на все вопросы теста, неправильно. …………………………………………………………………………………………. студентов отвечают правильно на все вопросы теста с вероятностью . В общем случае вероятность этих исходов рассчитывается по формуле Бернулли: . Отсюда математическое ожидание и дисперсия числа студентов прошедших тест соответственно равны D()=. Для случая когда все вопросы имеют одинаковую сложность получаем, что и можно поставить обратную задачу определения такой степени сложности вопроса, при которой был бы определенный процент числа студентов прошедших тест, например, %. Тогда вероятность правильного ответа рассчитывается как . . В соответствии с этой формулой график зависимости выглядит следующим образом: Рис. 1. График зависимости вероятности p от процента числа студентов прошедших тест. Из этого графика можно определить необходимую сложность вопроса, такую чтобы был определённый процент студентов сдавших тест, например, если мы хотим, чтобы 50% студентов сдали весь тест, то каждый вопрос у теста с 10 вопросами должен иметь вероятность правильного ответа равную 0,93, а для теста с 5 вопросами вероятность правильного ответа должна быть равна 0,87, т.е. вопросы теста должны иметь невысокую сложность. Чаще в качестве показателя эффективности процесса тестирования используется не количество студентов ответивших на все вопросы теста, а число студентов ответивших хотя бы на ряд вопросов, не меньше заданного числа, например, не меньше чем на 70% от общего числа вопросов: в этом случае считается, что студент сдал тест. Для такого варианта тестирования вероятность того, что студент сдаст тест равна , где нижняя граница числа вопросов, на которые должны быть получены правильные ответы; вероятность правильного ответа, рассчитываемая по формуле Бернулли. Отсюда получаем, что математическое ожидание числа студентов прошедших тест равно: . Пусть сложность каждого вопроса равна 0,3 и студент считается прошедшим тест, если он ответил правильно на 7 вопросов из 10. Согласно формуле Бернулли вероятность того, что студент пройдет тест равна приблизительно 0,01. Тогда среднее число студентов прошедших тест из группы в 10 человек равно 0,1, т.е. сложность вопроса очень высокая. Для предыдущего расчета, когда сложность вопроса была не высокая и равнялась 0,9 среднее число студентов прошедших тест было равно 9,87, т.е. больше чем для первого варианта тестирования ( там среднее число равнялось 3,49). На ниже приведённом графике показаны соответствующие зависимости для M[k] и для первого и второго вариантов оценки эффективности теста. Рис. 2. График зависимости мат.ожидания M[k] от вероятности p. Из графика видно качественное различие между первым и вторым вариантами тестирования: для одной и той же степени сложности вопроса количество студентов, прошедших тест существенно отличается. С помощью данного графика также можно решить обратную задачу расчета сложности вопросов для наперёд заданного среднего количества студентов прошедших тест, как для первого, так и для второго варианта процесса тестирования. Например, для 50% студентов, прошедших тест сложность вопроса по первому варианту должна быть равна 0,93, а для второго варианта 0,65. Для оценки адекватности модели был проведён эксперимент: для группы из 10-и студентов предложены вопросы по математике в виде 3-х тестов. На каждом тесте вероятность правильного ответа (p) равна: на 1-ом тесте p=0,85, на 2-ом тесте p=0,64, на 3-ем тесте p=0,55 .Тест имеет 10 вопросов. Студент считается прошедшим тест, если он ответил правильно на 7 или более вопросов из 10-и. Таблица 1 Студенты Тесты 1-ый 2-ой 3-ий 4-ый 5-ый 6-ой 7-ой 8-ой 9-ый 10-ый % 1-ый Тест 8 10 7 10 8 8 8 9 8 9 100% 2-ой Тест 6 4 8 7 4 6 5 8 8 8 50% 3-ий Тест 5 4 5 5 3 5 6 8 9 5 20% В таблице1 приведены результаты тестирования. Согласно расчётам, по предложенной модели, процент среднего числа студентов прошедших тест: на первом тесте он равен 95 % , а в реальности 100 %; на втором тесте он равен 48,7 %, а в реальности 50 %; на третьем тесте он равен 26,6 %, а в реальности 20 %. Как видно из сравнения полученных результатов с предсказанными по модели, предложенная модель адекватна, то есть её можно рекомендовать преподавателям для разработки тестов. Самый эффективный тест – это тест ,соответствующий по трудности заданий уровню подготовленности испытуемых. Пример : Если преподаватель считает, что 50 % процентов студентов или больше должны знать материал, читаемого им предмета, то в соответствии с этим он должен формировать определённой сложности вопросы, если сложность вопроса p=0,55 то он получит 26,6% студентов сдавших тест (тест сложный), если сложность вопроса p=0,85, то он получит 95% студентов сдавших тест (тест лёгкий). Отсюда можно сделать вывод, что предложенные преподавателем тесты не валидные. Чтобы получить валидный тест, он должен скорректировать тест так, чтобы сложность вопросов теста была около p=0,65. Литература: 1. Вентцель Е.С. Теория вероятности/ Е.С Вентцель. –М.: Наука, 1964.г.-260 с.

Похожие:

	Реферат. Оценка эффективности мелиоративных проектов Оценка социально-экологической эффективности мелиоративных инвестиционных проектов		Содержание Именно поэтому, оценка эффективности pr-кампании, не должна оставаться неформальной и ненаучной. Необходимы объективные методы, предоставляющие...
	Отчет по научно-исследовательской работе «Разработка комплексной... «Разработка комплексной модели экономической эффективности регионального учреждения культуры»		Курсовая работа на тему: «Исследование эффективности поиска в Интернете... Целью данной работы является оценка эффективности поисковых стратегий в информационно-поисковых системах (ипс)
	Рабочая программа дисциплины «Экономическая оценка инвестиций» Целью дисциплины «Экономическая оценка инвестиций» является изучение студентами теоретических основ и методических принципов оценки...		Рабочая программа дисциплины «Экономическая оценка инвестиций» Целью дисциплины «Экономическая оценка инвестиций» является изучение студентами теоретических основ и методических принципов оценки...
	Рынок ценных бумаг России становление, оценка эффективности и перспективы развития Название реферата: Рынок ценных бумаг России становление, оценка эффективности и перспективы развития		«Анализ и оценка эффективности коммерческой деятельности оптового торгового предприятия» Тема: «Анализ и оценка эффективности коммерческой деятельности оптового торгового предприятия»
	Сборник статей выпускников Оценка эффективности управления финансированием крупных судостроительных контрактов		Отчет о результатах функционирования особых экономических зон за... Российской Федерации от 10 июня 2013 г. №491 «Об утверждении правил оценки эффективности функционирования особых экономических зон»...
	Программа по формированию навыков безопасного поведения на дорогах... Цели: обучения: формировать знания учащихся о видах теста, продуктах и инвентаре для приготовления теста, о значении мучных изделий...		Отчет о выполнении нир по теме: Разработка специализированного продукта для питания спортсменов Комплексная экспериментальная оценка эффективности разработанного специализированного продукта для питания высококвалифицированных...
	Программа вступительных испытаний по истории россии Максимальное количество 50 баллов.)Баллы, полученные за выполненные задания, суммируются. Максимальный балл за выполнение всей работы...		Рефератов по дисциплине «Экономика и планирование городского хозяйства» Содержание и формы инвестирования в городское хозяйство, оценка эффективности инвестиционных проектов
	Учебно-методический комплекс по дисциплине «Методы оценки эффективности вычислительных систем» ВС. В рамках курса рассматриваются вопросы анализа производительности и эффективности вс на основе использования различных измерительных...		Оценка вариабельности ритма сердца и возможности различных модификаций... ...