Характеристики оценки Валидность

Скачать 85.46 Kb.

Название	Характеристики оценки Валидность
Дата публикации	15.08.2013
Размер	85.46 Kb.
Тип	Документы

100-bal.ru > Информатика > Документы

Характеристики оценки

Валидность – это характеристика пригодности оценочной информации для принятия правильных решений на ее основе. Другими словами, это характеристика того, что в результате оценки педагог получил именно то, что и планировал, что было целью оценки. Ниже приведены некоторые вопросы, которые имеют отношение к валидности оценки:

- покрывает ли оценка все важные аспекты содержания, которое должно быть проверено?

- позволяет ли метод оценки сделать правильные выводы об обучении и его результатах?

- позволяют ли задания продемонстрировать учащимся то, что предполагается оценивать?

- являются ли инструкции и формулировки заданий достаточно ясными (чтобы ученики понимали, что от них ждут в их ответах)?

- изучался ли материал, который оценивается?

- являются ли процедуры выставления баллов ясными и несмещенными (unbiased)?

Ключевые вопросы валидности оценки:

Валидность имеет отношение к вопросу: в какой степени оценочная информация может помочь в принятии решений?
Валидность имеет отношение к конкретной группе учащихся и конкретным решениям. Нельзя сказать, что оценка валидна вообще, без указания того, для кого она предназначена и с какой целью должна использоваться.
Валидность лучше характеризовать в терминах сравнительных категорий: высокая валидность, средняя или низкая валидность.
Валидность всегда определяется пользователями теста.

Надежность – характеристика точности и устойчивости результатов оценки. Будут ли результаты оценки аналогичными, если оценку повторить через некоторое время? Если нет, то результаты ненадежны. Если информация ненадежна, то ей нельзя доверять, на ее основе нельзя принимать решения. Надежность характеризует степень, с которой оценка оценивает то, что оценивается. Очевидно, что никакая оценочная процедура или инструмент не в состоянии обеспечить на 100% надежную информацию, свободную от ошибки измерения. Все оценки содержат некоторую ошибку в измерениях из-за таких факторов, как неоднозначные тестовые задания, ясность инструкций, попытка учащихся отгадывать правильный ответ, ошибки в выставлении баллов (особенно при оценивании заданий со свободно конструируемым ответом), нарушения процедуры тестирования и т.д.

Ключевые вопросы надежности оценки:

Надежность имеет отношение к устойчивости и согласованности результатов оценки.
Надежность не имеет отношения к пригодности оценочной информации для принятия решений, а только к ее точности, устойчивости.
Надежность лучше характеризовать в терминах сравнительных категорий: высокая надежность, средняя или низкая надежность. Некоторые виды оценки более надежны, чем другие.
Надежность – необходимое, но не достаточное условие валидности. Валидная оценка всегда надежна, но надежная оценка не обязательно валидна.

Основные понятия теории педагогических измерений

Педагогические измерения – это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками числовой шкалы. При педагогическом измерении в качестве характеристик обучаемых обычно выступают знания и умения, освоенные учениками на момент измерения. Роль единицы измерения играют тестовые задания, объектом измерения являются сами ученики, а результатом измерения – шкала баллов тестируемых учеников.
Теория тестов (тестология) – краткое название прикладной науки о разработке тестов.
Цель теории тестов – разработка тестов, как части методов педагогических измерений, с помощью которых можно получать качественные результаты и сделать обоснованные выводы об уровне и структуре подготовленности учащихся.
Тестирование – это специально разработанная, научно обоснованная и оптимизированная процедура, позволяющая максимально объективно оценивать уровень достижений учащихся и выражать этот уровень количественно в форме числа (чисел).

Педагогический тест – это система заданий специфической формы, определенного содержания, упорядоченных в рамках определенной стратегии предъявления, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков по учебной дисциплине.

Задание в тестовой форме – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду специфических требований.

Требования, предъявляемые к заданиям в тестовой форме можно условно разделить на специальные, отражающие специфику формы заданий, и общие, инвариантные относительно выбранной формы.

К общим требованиям относят:

наличие стандартной инструкции и ее одинаковость для всех испытуемых;
адекватность инструкции форме и содержанию задания;
расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы;
наличие эталона правильного ответа к заданию и правила оценки результатов его выполнения;
правильность выбора формы задания;
наличие определенного места для ответов;
краткость;

Тестовое задание - задание в тестовой форме, прошедшее экспертизу и апробацию, и при условии, что его качественные и количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств заданий теста.

Этапы разработки педагогического теста

Планирование теста

Определение цели тестирования
Выбор вида теста и подхода к его созданию
Определение условий проведения тестирования, включая время тестирования
Примерное определение числа заданий в тесте и числа вариантов
Выявление ресурсов и затрат на разработку всего теста

Анализ содержания учебной дисциплины

Операционализация целей тестирования
Планирование содержания теста
Разработка примерного плана теста

Разработка спецификации теста

Определение структуры теста и стратегии расположения заданий
Априорный выбор длины теста и времени его выполнения
Разработка спецификации теста

Разработка заданий в тестовой форме

Создание заданий в тестовой форме
Экспертиза содержания тестовых заданий и теста в целом
Экспертиза формы тестовых заданий
Переработка заданий по результатам экспертизы
Клиническая апробация заданий и анализ характеристик заданий
Переработка заданий по результатам клинической апробации
Отбор заданий в тест и их ранжирование согласно выбранной стратегии расположения в тесте

Апробационное тестирование

Разработка методики апробационного тестирования
Разработка инструкций для участников и для преподавателей, проводящих апробацию теста
Проведение апробационного тестирования
Сбор эмпирических результатов
Статистическая обработка результатов выполнения теста
Интерпретация результатов обработки, проверка соответствия характеристик теста научно-обоснованным критериям качества
Переработка заданий по результатам апробации; в случае необходимости разработка новых заданий
Оптимизация длины теста и времени его выполнения на основании результатов апробации. Оптимизация расположения заданий в тесте. Оптимизация схемы оценивания заданий
В случае необходимости (значительных изменений в тесте) повторная апробация

Конструирование теста

Отбор заданий, прошедших апробацию
Выравнивание вариантов
Разработка инструкций для участников тестирования
Определение проходного балла (если требуется) и/или установление норм
Разработка методики шкалирования результатов тестирования
Апробация теста с целью проверки параллельности вариантов (если не планируется выравнивание), валидности проходного балла, функционирования шкалы тестовых баллов

Подготовка пакета документов для проведения тестирования

Цикл жизни задания (ЦЖЗ)

Разработка задания автором
Экспертиза задания другими авторами
Принятие решения о доработке или о допуске задания к дальнейшей апробации
Доработка задания после экспертизы в случае принятия соответствующего решения
Проведение клинической (качественной) апробации (качественное исследование свойств задания на малой выборке)
Принятие решения о доработке или о допуске задания к дальнейшей апробации
Доработка задания после клинической апробации в случае принятия соответствующего решения
Включение задания в тест для проведения апробации, компоновка теста
Проведение апробации (количественной) на значительном массиве участников
Первичное оценивание заданий после апробации
Обработка результатов апробационного тестирования: вычисление статистических характеристик заданий, интерпретация результатов, исследование качества заданий и первичный анализ всего теста
Принятие решения о включении задания в окончательный инструмент, об оставлении в резерве или об отправке на доработку
Включение задания в итоговый тест или хранение его в банке заданий

Итого, у задания есть несколько состояний, и задание в каждый момент времени может быть только в одном из них:

В процессе разработки
В процессе доработки
В процессе апробации
Забраковано
В резерве (хранится в банке заданий), но готово быть включенным в итоговый инструмент
Включено в итоговый инструмент

Перечень ролей при разработке заданий и всего инструмента в целом

Автор задания. В его обязанности входит
1. Разработка текста задания (п.1 ЦЖЗ)
2. Передача текста задания методисту для проведения апробации
3. Авторская экспертиза (вычитка) заданий других авторов (п.2 ЦЖЗ)
4. Присутствие на клинической апробации (п.4 ЦЖЗ)
5. Доработка задания (внесение необходимых корректировок в текст задания по результатам экспертизы и/или апробации (п.4 и п.7 ЦЖЗ)
Методист (составитель тестов). В его обязанности входит
1. Сбор текстов заданий с авторов
2. Проведение клинической апробации (п.4 ЦЖЗ)
3. Передача результатов клинической (качественной) апробации авторам
4. Компоновка заданий в тесты для проведения количественной апробации (п.8 ЦЖЗ)

3. Методист (проводящий апробацию). В его обязанности входит

а. Проведение количественной апробации (п.9 ЦЖЗ)

b. Первичное оценивание заданий и подготовка данных к отправке статистикам (п.10 ЦЖЗ)

c. Передача результатов количественной апробации статистикам-тестологам

d. Передача результатов количественной апробации авторам

Передача заданий, успешно прошедших все стадии апробации, администратору банка заданий
Запрос у администратора банка заданий тестовых заданий с необходимыми свойствами
Конструирование непосредственно тестов

Статистик-тестолог. В его обязанности входит
1. Обработка данных количественной апробации (п.11 ЦЖЗ)
2. Интерпретация результатов обработки
3. Анализ заданий и тестов в целом с точки зрения валидности и надежности
4. Выработка рекомендаций авторам заданий
5. Передача результатов количественной апробации методисту
Администратор банка заданий. В его обязанности входит
1. Учет заданий (где, когда и как использовалось то или иное задание)
2. Получение заданий от методиста и последующее хранение (п.13 ЦЖЗ)
3. Выдача по запросу методиста набора заданий с определенными свойствами

Добавить документ в свой блог или на сайт

Похожие:

	Программа по формированию навыков безопасного поведения на дорогах... Спецификация является документом, отражающим основные характеристики измерительных материалов и определяющим различные аспекты их...		Методика оценки сформированности компетенций на уровне учебной дисциплины... В статье описываются основные характеристики компетенции; анализируются сложности создания методики оценки сформировнности компетенций...
	Конспект лекций Тема Ценообразование и характеристики рынка Тема Теоретические и практические аспекты оценки и анализа эластичности спроса		«Философия» ивыставления по нему оценки для бакалавриата вшэ Итоговая вычисленная оценка складывается в равных долях по 1/3 из трех составляющих: оценки за активность на семинарах, оценки за...
	Основные характеристики программ оценки учебных достижений школьников Охватывает все разделы учебной программы «Музыка», обеспечивает полную проверку теоретических знаний, интеллектуальных и практических...		Эргономические характеристики Требования к составу и значениям эргономических... Настоящий стандарт устанавливает номенклатуру, граничные значения и ориентировочные параметры качества программных средств образовательного...
	Лингвокультурологические характеристики коммуникативного пространства... Настоящее Положение определяет цели, задачи, порядок проведения, критерии оценки, механизм подведения итогов областного общественного...		Публикации сотрудников лаборатории фхми за 2009 год Монографии Смирнов Н. Г., Вотяков С. Л., Садыкова Н. О., Киселева Д. В., Щапова Ю. В. Физико-химические характеристики ископаемых костных остатков...
	Рабочая программа по дисциплине «История международных отношений... Методика формирования результирующей оценки: итоговая оценка складывается из оценки результатов участия в семинарских занятиях, итогов...		Система оценки достижения планируемых результатов освоения ооп ноо Моу «Песочнодубровская средняя общеобразовательная школа» разработана система оценки, ориентированная на выявление и оценку образовательных...
	Программа по формированию навыков безопасного поведения на дорогах... Рассмотреть важнейшие экологические характеристики популяции: территорию, которую она занимает, численность, возрастной и половой...		Введение 3 определение интро- и экстроверсии 4 характеристики интровертов и экстравертов 5 Какие факторы определяют (формируют, детерминируют) личность человека? Каковы основные характеристики личности? До какой степени...
	Отчёт муниципального бюджетного учреждения «Старооскольский центр оценки качества образования» Старооскольского центра оценки качества образования обеспечение комплексной независимой системы оценки качества образования в образовательных...		2 3/271 «Параметры семантической характеристики слова в толковом словаре» «Параметры семантической характеристики слова в толковом словаре» аналитической ведомственной целевой программы “Развитие научного...
	Реферат по теме: Статистические характеристики на уроке алгебры На уроке алгебры мы познакомились с темой «Статистические характеристики». Среднее арифметическое, медиана, размах и мода. Мода в...		Методические подходы оценки плодородия садовых агроценозов западного предкавказья бузоверов А. В Ат. Разработаны методические подходы к проведению почвенного мониторинга в садах и установлены показатели (тесты) оценки плодородия...

Школьные материалы