Определение конструкта при составлении тестов по чтению для академических целей

Скачать 334.83 Kb.

Название	Определение конструкта при составлении тестов по чтению для академических целей
страница	1/4
Дата публикации	13.03.2015
Размер	334.83 Kb.
Тип	Автореферат

100-bal.ru > Информатика > Автореферат

1 2 3 4

На правах рукописи

КОЖЕВНИКОВА ЛЮДМИЛА АЛЕКСАНДРОВНА

ОПРЕДЕЛЕНИЕ КОНСТРУКТА ПРИ СОСТАВЛЕНИИ ТЕСТОВ

ПО ЧТЕНИЮ ДЛЯ АКАДЕМИЧЕСКИХ ЦЕЛЕЙ

Специальность 13.00.02 — Теория и методика обучения и воспитания (иностранные языки)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата педагогических наук
Москва 2009

Работа выполнена на кафедре теории преподавания иностранных языков факультета иностранных языков и регионоведения Московского государственного университета им.М.В.Ломоносова
Научный руководитель: доктор педагогических наук, профессор

СОЛОВОВА Елена Николаевна
Официальные оппоненты: доктор филологических наук, профессор

ВЕРБИЦКАЯ Мария Валерьевна

кандидат педагогических наук, доцент

СИМКИН Виктор Николаевич

Ведущая организация: ГОУ ВПО «Московский педагогический

государственный университет»

Защита состоится «2» июня 2009 г. в 13 часов на заседании диссертационного совета Д 501.001.04 при Московском государственном университете им. М.В.Ломоносова по адресу:

119192 г. Москва, Ломоносовский проспект, д.31, корпус 1, факультет иностранных языков и регионоведения, ауд. 107-108.
С диссертацией можно ознакомиться в Фундаментальной библиотеке

МГУ им. М.В.Ломоносова.
Автореферат разослан « »___________ 2009 г.
Учёный секретарь диссертационного совета Е.В. Маринина
Общая характеристика работы
В современном обществе чтение является одним из важнейших средств получения информации, поэтому для современного человека важность умения читать на иностранном языке определяется потребностью адекватного включения в глобальное информационное поле. Для сегодняшнего студента это также означает возможность доступа к общеевропейской зоне высшего образования, где, как показывают исследования, чтение остается самым важным видом речевой деятельности. При этом в академической среде, как отечественной, так и зарубежной, на первый план выходит готовность студента к самостоятельной работе с большим, нелинейным потоком информации (термин Е.Н.Солововой), и значит, особое значение приобретают когнитивный и метакогнитивный аспекты чтения, которые обусловливают необходимость формирования и развития у студентов соответствующих умений и стратегий академического чтения, т.е. чтения литературы, относящейся к определенному функциональному стилю (научному, учебно-научному, научно-справочному), в контексте обучения в высшей школе.

Особенности процесса и содержания обучения чтению для академических целей должны найти отражение в формате и содержании контроля. Особое звучание данная проблема приобретает в условиях модернизации системы образования в России, к целям которой относится повышение мобильности студентов в Российской Федерации и в международном образовательном сообществе. Последнее предполагает обеcпечение сопоставимости критериев и методики оценивания качества обучения в отечественной и зарубежной системах образования. Однако анализ теоретико- методической литературы и действующих нормативных документов (стандартов, программ) выявляет в данной области ряд противоречий, а именно:

противоречия между зарубежной и отечественной системами контроля коммуникативных умений: преобладание письменных тестовых форм контроля в зарубежных университетах и различных видов устного опроса в российских вузах
несоответствие между терминологическими аппаратами, принятыми в отечественной и зарубежной практике организации контроля коммуникативных умений
противоречие между необходимостью сравнивать и сопоставлять качество обучения студентов различных учебных заведений и отсутствием стандартизации процедуры оценивания, закрепленной в нормативных документах ГОС ВПО
указание в нормативных документах на возможность применения тестирования в качестве одной из форм итогового контроля [Программа^¹, 2004] и отсутствие методики детализированной разработки спецификаций лингводидактического теста
указание в Программе на соответствие конечного уровня подготовки по иностранному языку параметрам «порогового уровня» Общеевропейских компетенций владения иностранным языком, и расхождение содержания контроля обученности владения чтением, обозначенное Программой, с параметрами уровня В1 (несоответствие реестра измеряемых умений, требований к характеристикам текстов и т.д.).

Положение усугубляется тем, что в отечественной системе непрерывного образования создание национальной системы языкового контроля, о необходимости которой говорят ведущие российские ученые (В.В.Сафонова, Е.Н. Соловова, М.В. Вербицкая, В.Н.Симкин, Р.П. Мильруд, и др.), находится на самой начальной ступени формирования. Анализ учебных и тестовых материалов для высших учебных заведений, проведенный в рамках данного диссертационного исследования, подтвердил, что отсутствие целостной системы тестирования уровня сформированности иноязычной коммуникативной компетенции на различных этапах обучения приводит к появлению тестов очень низкого качества, дискредитирующих тестирование как валидную и надежную форму контроля. Анализ также показал, что основной причиной появления такого рода тестов является неумение разработчиков тестов правильно сформулировать измеряемый конструкт. Надо отметить, что в зарубежной тестологии отсутствует единодушие по вопросу того, что входит в понятие «конструкт». В отечественной литературе в большинстве работ дается упрощенная трактовка данного понятия, которая сводится, в основном, к терминам психологического и педагогического тестирования.

В работе предлагается следующая формулировка данного термина: конструкт – это детализированное описание объекта контроля, а именно, выделение совокупности измеряемых характеристик в контексте лингводидактического тестирования, которые составляют суть измеряемого объекта контроля (например, умения, компетенции, вида речевой деятельности, т.д.) и дают возможность экстраполяции результатов теста на реальную жизненную ситуацию, в которой будет применяться измеряемый конструкт. Важно отметить, что формулировка и реализация (операционализация) тестового конструкта взаимосвязаны и взаимообусловлены.

Таким образом, наличие вышеназванных противоречий, недостаточная теоретическая и практическая разработанность основ национальной системы языкового контроля определяют актуальность выбранной темы исследования.

Объектом исследования данной работы является содержание и формат контроля чтения как самостоятельного вида речевой деятельности.

Предмет исследования составляют содержание тестового конструкта «чтение для академических целей» и определение характеристик чтения как измеряемого конструкта в контексте организации системы стандартизированного контроля в неязыковом вузе.

Цель диссертационного исследования состоит в разработке методики определения параметров тестового конструкта «чтение для академических целей», и создании примерной спецификации тестов с указанием номенклатуры умений, типологии текстов и видов заданий для «порогового уровня» владения английским языком по Общеевропейской шкале компетенций.

Гипотеза исследования сформулирована следующим образом: для валидной и надежной оценки уровня сформированности умения чтения для академических целей необходимо разработать методику определения тестового конструкта и выявить адекватные способы реализации (операционализации) заданного конструкта.

Цель, объект, предмет и гипотеза исследования обусловили необходимость решения следующих задач:

Рассмотреть теоретические основы тестирования чтения как одной из форм контроля и привести в соответствие термины и понятия, используемые в отечественной и зарубежной практике тестирования
Определить основные характеристики триады « читатель–текст–тестовое задание» и выявить те из них, которые являются релевантными для тестового конструкта «чтение для академических целей»
Выделить параметры и критерии анализа тестов по чтению для академических целей.
Проанализировать международные и отечественные экзамены с точки зрения реализации положений теории тестирования чтения как вида речевой деятельности, а также путей разработки тестового конструкта и способов его операционализации.
Проанализировать имеющиеся шкалы компетенций, применяемые в международной практике тестирования для измерения умений академического чтения, и выявить номенклатуру умений, соответствующую «пороговому уровню» Общеевропейских компетенций.
Разработать методику определения тестового конструкта «чтение для академических целей» для целей и задач контроля результатов обучения данному виду речевой деятельности в системе профессионального образования.
Разработать примерную спецификацию раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в вузах неязыковых специальностей (170 – 240 аудиторных часов)

Научная новизна работы состоит в следующем:

впервые научно обоснована и экспериментально проверена методика определения тестового конструкта «чтение для академических целей» для системы высшего профессионального образования. Данная методика разработана на основе сочетания отечественной и международной систем контроля коммуникативной компетенции
определена номенклатура умений, соответствующих специфике академического чтения уровня В1 Общеевропейских компетенций владения английским языком
разработан проект спецификации итогового экзамена за курс обучения иностранному языку в неязыковом вузе.

Теоретическая значимость исследования определяется тем, что предложена развернутая формулировка понятия «тестовый конструкт»; выявлены компоненты конструкта «чтение для академических целей» и обоснованы способы его реализации для спецификаций итогового экзамена в неязыковом вузе; выделены и систематизированы показатели сложности текста и тестовых заданий.

Практическая значимость работы состоит в предложенной методике определения конструкта для теста по чтению для академических целей, которая может найти широкое применение при организации контроля качества обучения чтению в системе разноуровневой подготовки по иностранному языку в вузах неязыковых специальностей. Практическую значимость для разработчиков тестов также имеют примерная спецификация тестов на проверку уровня сформированности умения чтения «порогового уровня» по окончанию курса иностранного языка в неязыковом вузе (170 – 240 часов аудиторных занятий); таксономия умений инференции; матрица определения сложности задания по параметру «убедительность дистрактора»; матрица определения уровня сложности тестовых заданий для академического чтения; типология заданий, применяемых для проверки разных видов академического чтения; сводная таблица характеристик текстов, учитываемых при отборе материала для тестирования уровня сформированности умений академического чтения.

Методологическую основу исследования составили положения по:

теории, психологии и методике обучения чтению (И.М. Берман, В.А. Бухбиндер, И.Н.Верещагина, И.А.Зимняя, Е.И. Пассов, З.И.Клычникова, Г.В. Рогова, Б.А.Лапидус, А.А. Леонтьев, Р.П. Мильруд, Е.Н.Соловова, С.К. Фоломкина, Е. Bernhardt, M.A. Clarke, J. Coady, T. Duddley-Evans, M.J. St.John, R. Farr, F. Grellet, V. Just, P.A. Carpenter, J. Munby, C. Nuttall, и др.)
лингвистике текста (Т.М. Дридзе, Л.И. Зильберман, О.Л. Каменская , Ю.А. Сорокин, З. Я. Тураева, К.Я. Филиппов, R. de Beaugrande, M. Bensoussan, P.L. Carrell, W. Kinsch, T.A. van Dijk, М.McCarthy, J.M.Swales и др).
теории и практике тестирования (М.Б.Челышкова, В.А.Коккота, М.В.Вербицкая, В.Н.Симкин, Е.Н.Соловова, С.Alderson,С. Clapham, L.F. Bachman, A.S.Palmer, С. Chapelle, A.D. Cohen, J.D. Brown, T. Hudson, M.Canale, I. Chikalanga, D. Douglas, G.Fulcher, J.B.Heaton, A. Hughes, K. Koda, V.Ludo, J. de Jong, P. Mosenthal, J. W. Oller, E. Shohamy, M. Swain, S. Urquhart, C.Weir)
теории и практике многоуровневого описания компетенций (В.В. Сафонова, И.Л.Бим, А.А. Миролюбов, C. Alderson, N. Jones, R.J. Tannenbaum, E.C. Wylie, R.L. Trammell, B.North, J.A. van Ek, J.L.M. Trim и др.)

Методы исследования: описательно-аналитический (сопоставительное изучение теоретических работ отечественных и зарубежных исследователей); гипотетико-дедуктивный (выдвижение рабочей гипотезы); экспериментальный (проектирование тестов, разработка, организация и проведение тестирования, анализ результатов); статистические методы.

Экспериментальная база исследования: гуманитарные факультеты Самарского государственного университета. Исследованием были охвачены студенты 1—3 курсов в течение 4 лет.

Апробация и внедрение.

Основные положения проведенного исследования отражены в публикациях по теме диссертации. Результаты исследования обсуждались на общероссийских и региональных конференциях (Ижевск, Самара, Москва, Саранск, Казань, Саратов, Ярославль, Рязань,Челябинск), а также на осенних и летних сессиях Международного Института повышения квалификации преподавателей английского языка: «Communication, Connection, and Collaboration» (Иркутск, 2004; Самара, 2005), «Materials development: from low-tech to high-tech» (ДВГУ, Владивосток, 2007), «All-Russia Autumn Testing Institute» (СГАУ, Самара, 2008).

По теме диссертации опубликовано 10 статей, из них три статьи вышли в изданиях, рекомендованных ВАК.

Достоверность и обоснованность результатов исследования обеспечивается исходными методологическими позициями, опорой на терминологический аппарат, на современные тестологические, психолингвистические и методические концепции; использованием теоретических и экспериментальных методов, соответствующих целям, задачам, предмету исследования; соблюдением норм и требований, предъявляемых к исследованию, а также объемом исследованного материала и результатами эксперимента.

На защиту выносятся следующие положения:

Несмотря на то, что уровень B1(пороговый уровень) Общеевропейской шкалы уровней коммуникативной компетенции включает только умения работы с текстами в рамках повседневно-бытовой сферы общения, практика преподавания иностранных языков в российский неязыковых вузах показывает, что студенты – нефилологи на уровне В1 могут справляться с профессионально-ориентированными текстами, что дает основание расширить рамки номенклатуры умений в итоговом контроле, включив задания на контроль умений для работы с академическими текстами.
Разработанная в данном исследовании примерная спецификация раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в вузах неязыковых специальностей (170-240 аудиторных часов) соответствует обозначенному целевому назначению итогового экзамена, ориентируется на национальные образовательные стандарты третьего поколения и общеевропейские тенденции развития языкового образования, устраняет существующие несоответствия Программы^² в плане обозначенных в ней требований к итоговому контролю обученности владения этим видом речевой деятельности на уровне В1 Общеевропейских компетенций, содержит необходимые компоненты управления разработкой тестов и тестовых заданий, носит компетентностный характер.
Правильное определение тестового конструкта является одним из условий надежности и валидности теста как формы контроля. Основу определения тестового конструкта «чтение для академических целей» составляет теоретически и эмпирически обоснованная совокупность характеристик триады «читатель – текст – тестовое задание» для целей и задач конкретного теста.
Характеристики читателя включают: совокупность характеристик испытуемых (возраст, пол, наличие фоновых знаний и т.д.); совокупность измеряемых характеристик данного речевого умения, присущих читателю на уровне В1; адекватность мыслительных процессов, активизируемых испытуемыми в процессе работы над тестом.
Совокупность факторов и характеристик, определяющих уровень сложности текстов, отбираемых для тестирования умений чтения в соответствии с заданным тестовым конструктом, включает: факторы содержания текста (тематика, функциональный стиль, жанр текста, его прагматическая функция, тип речи, регистр, сложность понятий, информационная насыщенность, плотность концепций); факторы структуры текста (глобальная и локальная связность); лингвистические факторы (синтаксические/ лексические трудности, аутентичность текста), статистические факторы (читабельность, т.е. сложность текста, вычисляемая по заданной формуле; соотношение знаменательных и служебных слов); факторы модальности (термин В.А.Коккоты^³): длина текста, удобочитаемость (шрифт, цвет, расстояние между строчками и т.д.)
Совокупность факторов, влияющих на уровень сложности тестового задания в рамках измеряемого конструкта, включает способ его формулировки, тип запрашиваемой информации (конкретная/абстрактная, эксплицитно/имплицитно представленная информация), наличие или отсутствие дистракторов в заданной и запрашиваемой информации, локализация требуемой информации в тексте (в одном абзаце/ в нескольких абзацах, расположенных в начале/середине/конце текста).

1 2 3 4

Добавить документ в свой блог или на сайт

	Программа дисциплины Английский язык для специальных академических... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 521500....		План реализации подпрограммы «Развитие кадрового потенциала учреждения» № n/n Определение ведущих ценностей-целей группы (профессионального сообщества). Определение целей проектной деятельности
	Н. Т. Смагулова использование критериально-ориентированных заданий при составлении тестов Программа предназначена для проведения квалификационных испытаний в рамках процедуры аттестации педагогических работников по должности...		Факторы мотивации студентов при обучении иностранным языкам для профессиональных... Так, поколение У, или молодые люди, рожденные между 1983 и 2003 годом, к которому относятся обучающиеся в настоящее время студенты,...
	Программа по формированию навыков безопасного поведения на дорогах... Цель анализа: определение уровня продуктивности научно-методической работы, объективная оценка результатов, определение проблем научно-методической...		Руководство пользователя для слушателей Очень большая коллекция тестов на определение Вашего уровня владения английским языком
	Программа по литературному чтению (1 4 классы) Система Д. Б. Эльконина В. В. Давыдова Программа по литературному чтению ориентирована на достижение целей, задач современного образования, определенных Федеральными государственными...		2. Обсуждение прочитанного с целью самостоятельного составления студентами... Разработанный и апробированный на кафедре французского языка учебный курс представляет собой один из вариантов сочетания аудиторной...
	Памятка Очень большая коллекция тестов на определение Вашего уровня владения английским языком		Конспект урока по обучению грамоте (литературному чтению) в 1 классе «Г» Плановых контрольных уроков 1 ч ( в конце года), самостоятельных работ, тестов ч
	Разработка тестов по учебной дисциплине введение Э. А. Бадмацыренова «Разработке тестов для компьютерного тестирования. Методические рекомендации для преподавателей» Улан-Удэ, 2008....		Памятка по использованию программы «редактор тестов» Программа предназначена для подготовки тестов по любым темам и предметам
	Часто задаваемые вопросы по сдо «Доцент» Очень большая коллекция тестов на определение Вашего уровня владения английским языком		Тесты созданы в соответствии со спецификациями ims qti Очень большая коллекция тестов на определение Вашего уровня владения английским языком
	Техническое задание на разработку тестов Схема Формирование и обновление баз тестов Единой аттестационной комиссией для проведения квалификационных экзаменов		Использование информационно – коммуникационных технологий в обучениии английскому языку Очень большая коллекция тестов на определение Вашего уровня владения английским языком

Определение конструкта при составлении тестов по чтению для академических целей

Похожие: