Приложение 1. Методы анализа результатов педагогических измерений
Обращаем Ваше внимание на то, что данное приложение содержит описание модели с примером графических форм анализа результатов педагогических измерений. Данные примеры не относятся к результатам тестирования Вашего образовательного учреждения.
Модель оценки качества подготовки студентов на соответствие требованиям ГОС-II
Концептуальной основой модели оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов является оценка освоения всех дидактических единиц дисциплины на уровне требований ГОС-II. Согласно этой модели подготовка студента оценивается по каждой ДЕ путём сравнения количества правильно выполненных заданий с критерием освоения. Подготовка студента считается соответствующей требованиям стандарта, если он освоил все контролируемые ДЕ ГОС. Для каждой основной образовательной программы показателем освоения дисциплины является доля студентов, освоивших все дидактические единицы дисциплины. Структура формирования критерия освоения ГОС-II по дисциплине представлена в следующей таблице:
Объект оценки
|
Показатель освоения дисциплины
|
Критерий
освоения дисциплины
|
Студент
|
Процент освоенных ДЕ дисциплины
|
100% освоенных ДЕ дисциплины
|
Выборка студентов ООП
|
Процент студентов, освоивших все ДЕ дисциплины
|
50% студентов, освоивших все ДЕ дисциплины
|
Во всех используемых для оценки освоения ГОС педагогических измерительных материалах выполнение заданий требует использования знаний и умений в знакомой ситуации, т.е. задания рассчитаны на типовые действия.
2. Представление обобщенных результатов для ООП образовательного учреждения на основе педагогических измерений
Для оценки качества подготовки студентов на соответствие требованиям государственных образовательных стандартов профессионального образования результаты педагогических измерений образовательного учреждения представлены в формах, удобных для принятия управленческих решений:
диаграмма ранжирования ООП образовательного учреждения по показателю освоения дисциплины;
диаграмма ранжирования ООП образовательных учреждений – участников Интернет-экзамена – по показателю освоения дисциплины;
Диаграмма ранжирования ООП образовательного учреждения по показателю освоения дисциплины позволяет упорядочить ООП по проценту студентов, освоивших все контролируемые ДЕ дисциплины на уровне требований ГОС. На диаграмме критерий освоения дисциплины указан пунктирной линией и имеет значение 50%, то есть не менее половины студентов должны освоить все дидактические единицы дисциплины.
Рис.2.1. Диаграмма ранжирования ООП вуза по показателю освоения дисциплины
Результаты педагогических измерений показывают, что
качество подготовки студентов по двум ООП вуза (090101.65, 280301.65) соответствует требованиям ГОС;
качество подготовки студентов по 10 ООП вуза (010501.65, 020301.65, 010901.65, 020302.65, 090106.65, 280401.65, 020303.65, 010705.65, 280402.65, 090102.65) не соответствует требованиям ГОС.
Диаграмма ранжирования ООП образовательных учреждений – участников Интернет-экзамена – по показателю освоения дисциплины позволяет сравнить показатель освоения дисциплины (процент студентов, освоивших все дидактические единицы дисциплины) для образовательных программ конкретного образовательного учреждения с результатами реализации аналогичных ООП в других образовательных учреждениях – участниках Интернет-экзамена – и определить место ООП по данному показателю. В отличие от предыдущей диаграммы ранжирования (рис.2.1.) в данном случае сравнение ведется по ООП в целом без разделения на специализации или учебные группы.
Рис.2.2. Диаграмма ранжирования ООП вузов-участников Интернет-экзамена по показателю освоения дисциплины
На диаграмме (рис.2.2) представлены результаты освоения дисциплины для 111 ООП в 42 вузах по УГС–080000 «Экономика и управление» для вузов-участников Интернет-экзамена. Образовательные программы в выборке упорядочены по доле студентов, полностью освоивших все дидактические единицы ГОС (показатель освоения дисциплины). На диаграмме выделены три пороговые линии для значений этого показателя:
Х1/4 – значение, выше которого по этому показателю находится 25% ООП данной группы (верхняя квартиль);
М – значение, выше которого по этому показателю находится 50% ООП данной группы (медиана);
Х3/4 – значение, выше которого по этому показателю находится 75% ООП данной группы (нижняя квартиль).
Значения показателей, расположенные в центральной (25-75%) зоне выборки, можно рассматривать как «нормальные». Особое внимание к состоянию качества подготовки студентов следует обратить образовательным программам вуза с показателями освоения дисциплины ниже Х3/4, т.е. находящиеся в последней четверти выборки.
Использование порядковых статистик (квартили, медианы) позволяет объективно оценивать распределение ООП по показателю, так как данные статистики являются устойчивыми к наличию статистических «выбросов» в выборке.
Показатели освоения дисциплины для ООП вуза выделены темным и на общем фоне находятся:
для ООП 090101.65 — в верхней зоне выборки;
для ООП 280301.65, 010501.65, 020301.65, 010901.65, 020302.65, 090106.65, 280401.65 — в центральной зоне выборки;
для ООП 020303.65, 010705.65, 280402.65, 090102.65 — в нижней зоне выборки.
3. Представление результатов педагогических измерений по дисциплине для отдельной ООП
Для анализа и оценки качества подготовки студентов результаты педагогических измерений по каждой ООП представлены в удобных для принятия решения формах:
гистограмма плотности распределения результатов;
карта коэффициентов решаемости заданий по темам;
карта коэффициентов освоения дидактических единиц (ДЕ) дисциплины;
Гистограмма плотности распределения результатов. Этот вид представления результатов используется для характеристики плотности распределения данных по проценту набранных баллов. Каждый столбик на гистограмме (рис.3.1) показывает долю студентов, результаты которых лежат в данном 5-процентном интервале. По гистограмме определяется характер распределения результатов для данной группы тестируемых и могут быть выделены подгруппы студентов с различным качеством подготовки. Согласно предложенной модели оценки качества подготовки студентов на соответствие требованиям ГОС гистограмма должна быть смещена в сторону высоких процентов выполненных заданий (т.е. большинство результатов – выше 70%) для группы студентов, освоивших дисциплину на уровне требований ГОС.
Процент выполненных
заданий
|
Количество студентов
|
Процент студентов
|
[80%; 100%]
|
2
|
3%
|
[60%; 80%)
|
20
|
30%
|
[40%; 60%)
|
30
|
45%
|
[0; 40%)
|
15
|
22%
|
Всего
|
67
|
100%
|
Рис.3.1. Гистограмма плотности распределения результатов педагогических измерений
Ниже гистограммы дается таблица разбиения плотности результатов по 4-м интервалам (до 40 %, от 40 до 60%, от 60 до 80% и от 80% и выше). Результаты педагогических измерений в этих интервалах могут соответствовать шкале «неудовлетворительно – удовлетворительно – хорошо – отлично».
Карта коэффициентов решаемости заданий по темам. Этот график (рис.3.2) предназначен для содержательного анализа качества подготовки студентов по контролируемым темам дисциплины.
По вертикальной оси отложены значения коэффициентов решаемости заданий, номера которых указаны по горизонтальной оси.
Коэффициенты решаемости заданий
|
Количество
заданий
|
Процент
заданий
|
[0,7; 1]
|
18
|
79%
|
[0,4; 0,7)
|
4
|
17%
|
[0; 0,4)
|
1
|
4%
|
Рис. 3.2. Карта коэффициентов решаемости заданий по темам
Значения коэффициентов решаемости для заданий рассчитываются как отношение числа студентов, решивших задание по данной теме, к общему числу участников педагогических измерений. При анализе результатов педагогических измерений по карте коэффициентов решаемости можно придерживаться следующей классификации уровней трудности заданий: лёгкие задания – коэффициент решаемости от 0,7 до 1,0, задания средней трудности – коэффициент решаемости от 0,4 до 0,7 и задания повышенной трудности – коэффициент решаемости менее 0,4. Для группы студентов, освоивших дисциплину на уровне требований ГОС, все задания должны иметь коэффициент решаемости не ниже 0,7.
Карта коэффициентов освоения ДЕ дисциплины (рис. 3.3) имеет вид, аналогичный карте решаемости отдельных заданий. Она позволяет проанализировать освоение выделенных для контроля ДЕ дисциплины. Группировка заданий по ДЕ и соответствующие критерии освоения ДЕ представлены в структуре педагогических измерительных материалов.
Рис.3.3. Карта коэффициентов освоения ДЕ дисциплины
Значения коэффициентов освоения ДЕ дисциплины выражаются через долю студентов, преодолевших критерий освоения конкретной ДЕ дисциплины. Как правило, в качестве критерия освоения ДЕ дисциплины берётся выполнение 50% заданий от их общего числа в ДЕ.
Результаты тестирования студентов обработаны
в Научно-исследовательском институте
мониторинга качества образования.
По представленным аналитическим материалам
ждем Ваших предложений и замечаний
по адресу:
424000, Республика Марий Эл, г. Йошкар-Ола, ул. Я. Эшпая, д. 155.
Телефоны: 8 (8362) 42-24-68, 42-13-16.
Е-mail: nii.mko@gmail.com.
Web-ресурсы:
www.фэпо.рф, www.i-fgos.ru,
www.интернет-тренажеры.рф, www.i-exam.ru,
www.интернет-олимпиады.рф, www.i-olymp.ru,
www.интернет-экзамен.рф, www.i-bakalavr.ru,
www.интернет-диагностика-первокурсник.рф, www.i-diag.ru.
март - июнь 2012
|
