Определение конструкта при составлении тестов по чтению для академических целей
Скачать 334.83 Kb.
|
| В ходе теоретического обоснования методики определения тестового конструкта рассматриваются тестовые стратегии, которые необходимо учитывать как при подготовке испытуемых к тестированию, так и при разработке и оценке результатов теста. Данный вопрос является чрезвычайно важным, поскольку проведенные зарубежными тестологами и психолингвистами исследования мыслительных, психических и иных процессов, активизируемых испытуемым при работе с тестом, выявили, что предположения составителей тестов и экзаменаторов относительно того, что тест измеряет, и фактические процессы, лежащие в основе ответов на тестовые задания, не всегда совпадают. Некоторые испытуемые настолько хорошо овладели тестовыми стратегиями, получившими в совокупности название «test-wiseness», что научились угадывать правильный ответ, не поняв при этом прочитанный текст. В работе предложена следующая номенклатура общих тестовых стратегий: метакогнитивные (например, планирование работы над заданием в условиях дефицита времени); когнитивные (анализ структуры текста, поиск в тексте ключевых слов или фраз, выражающие тему, основную мысль и т.д.); компенсаторные (использование мимики и жестов при отсутствии вербальных средств выражения при устном ответе); аффективные/эмоционально - психологические (готовность рисковать при выборе ответа из ряда предложенных в случае неуверенности в правильности своего ответа или его незнания); стратегии, относящиеся к «test wiseness», т.е. умению «обходить» трудности тестового задания (например, использование непреднамеренных подсказок или других типичных ошибок, допущенных составителем при разработке заданий на множественный выбор). Проведенное исследование теоретических основ тестирования чтения как вида речевой деятельности позволило определить основополагающие принципы методики определения тестового конструкта. Для целей данного исследования базовым принципом при разработке теста по чтению выбрано целеполагание, поскольку оно помогает определить содержательный и процессуальный планы чтения. Именно от целеполагания зависит объем извлекаемой из текста информации и характер ее переработки, а также процессуальный план деятельности. Принцип многокомпонентного определения чтения позволяет выделить для целей тестирования умения и стратегии чтения, которые должны быть сформированы у испытуемого для практического овладения данным речевым умением на определенном уровне сформированности иноязычной языковой компетенции. При разработке конструкта обязательно учитывается и принцип целостности восприятия текста как коммуникативной единицы, который предполагает, что понимание прочитанного нельзя воспринимать как простую сумму мыслительных операций, которые, по предположению тестолога, будет выполнять испытуемый при выполнении теста. Изучение теоретико-методологических основ тестирования чтения позволило также определить параметры и критерии анализа качественных тестов по чтению, которые были использованы во второй главе. В Главе 2 «Анализ современной практики контроля чтения для академических целей в отечественных и международных экзаменах» рассматриваются основные экзамены по академическому английскому на предмет их соответствия современным требованиям тестологии, а также с целью выявления подходов к определению конструкта, принятых в отечественной и международной практике тестирования. Сопоставление принципов разработки известных зарубежных экзаменов по академическому чтению International English Language Testing System (IELTS), Test of English as a Foreign Language (TOEFL) и Test of English for Educational Purposes (TEEP), анализ тестовых материалов, а также изучение отчетов о результатах проведения данных экзаменов за последние десять лет позволил сделать вывод о том, что они разработаны в полном соответствии с основными положениями теории лингводидактического тестирования чтения как вида речевой деятельности. В результате данного исследования было выявлено, что важнейшим этапом составления теста по чтению для академических целей является разработка тестового конструкта. Было установлено, что при разработке конструктов экзаменов TOEFL, IELTS и ТЕЕР используются такие общие подходы, как: тщательный анализ целей и задач системы образования США, Британии и ряда других англоязычных стран; теоретическое обоснование чтения как вида речевой деятельности; выявление наиболее типичных заданий по чтению, с которыми приходится сталкиваться студенту в академической среде; определение номенклатуры умений чтения, необходимых для успешного обучения в данных образовательных системах. Для реализации заданного тестового конструкта разрабатываются принципы отбора репрезентативных текстов на основе анализа корпуса текстов учебников, используемых в вузах, а также определяются типы тестовых заданий для измерения уровня сформированности умений академического чтения. В результате анализа тестовых материалов экзаменов TOEFL, IELTS и ТЕЕР в рамках данного исследования было установлено, что определенные виды тестовых заданий наиболее часто используются для эффективной проверки уровня сформированности умений академического чтения. Дополнительный анализ тестов по академическому английскому, таких как Test of College Academic English (English Proficiency Testing System) и Michigan English Language Assessment Battery (MELAB), Canadian Academic English Language assessment(CAEL), English Proficiency Test Battery(EPTB), English Language Institute Placement Test battery (ELIPT, University of Hawaii at Manoa), а также изучение литературы по данному вопросу дало возможность сделать вывод о том, что для более эффективного измерения уровня сформированности умений в разных видах академического чтения необходимо разработать типологию тестовых заданий, что даст возможность разработчикам тестов выбирать именно те задания, которые будут наиболее качественно решать задачи измерения. Данная проблема была решена в Главе 3 (см. Таблицу 3). Во второй главе также проводится анализ Федерального экзамена в сфере профессионального образования (URL: http://www.fepo.ru, дата обращения 11.2008), на основании которого делается вывод о том, что в отечественной практике крупномасштабного тестирования не разработаны подходы к созданию тестов как валидных и надежных инструментов измерения умений чтения для академических целей. Это проявляется не только в несоблюдении основных требований к тестовой документации, например, в отсутствии спецификации экзамена, которая должна содержать информацию о типах текстов, уровне сложности текстов и заданий, об уровне владения измеряемым умением, параметрах и критериях оценки его сформированности на разных этапах обучения. Основной проблемой данного теста является то, что разработчикам не удалось правильно сформулировать измеряемый тестовый конструкт. Таблица 3 Типичные задания для проверки уровня сформированности умений чтения для академических целей
Именно поэтому в качестве объекта контроля в данном тесте выступает не чтение во всем многообразии его составляющих, а набор учебных элементов. При этом содержательная сторона текста как коммуникативной единицы также не выступает объектом контроля прочитанного, а неадекватность разработанных заданий приводит к разрушению целостности восприятия читаемого текста. Более того, во многих заданиях на множественный выбор обнаружены ошибки, которые обозначены в Главе 1 реферируемой работы как наиболее типичные для такого вида заданий. Разработчики теста также путают некоторые понятия, например, «идея» и «тема» текста, «умения чтения» и мыслительные операции, которые испытуемый проводит в процессе чтения (анализ, сопоставление и т.д.). Изучение на сайте ФЭПО тестовых материалов по чтению в свете современной теоретико-методологической базы лингводидактического тестирования (Глава 1) и подходов к реализации положений данной теории в практике международного тестирования (Глава 2.1), дает возможность сделать вывод о том, что неверно обозначенный в кодификаторе ФЭПО измеряемый тестовый конструкт привел к тому, что данный тест не является надежным и валидным инструментом контроля уровня сформированности умений чтения. Поскольку форма и содержание контроля определяют содержание и методы обучения, напрашивается вывод о том, что данный экзамен может оказать отрицательное влияние на процесс обучения чтению в неязыковом вузе. Анализ теоретических основ тестирования чтения как формы контроля речевых умений (Глава 1) и подходов к тестированию чтения для академичес-ких целей, принятых в отечественной и международной практике (Глава 2), еще раз подтвердил актуальность выбранной для данного исследования проблемы разработки методики определения тестового конструкта «чтение для академических целей» для системы отечественного профессионального образования. В Главе 3 «Методика разработки тестового конструкта «Чтение для академических целей» в системе профессионального образования и подходы к его операционализации» предлагается авторская методика определения тестового конструкта, выявляются подходы к разработке спецификации раздела «Чтение» итогового экзамена за курс обучения иностранному языку в неязыковом вузе, выделяется возможный комплект ее компонентов для целей итогового экзамена, соответствующего стандартам третьего поколения и Программе курса обучения иностранному языку в неязыковом вузе (170-240 часов аудиторных занятий). Необходимо отметить, что конструкт для данного экзамена должен разрабатываться с учетом обозначенных в Программе характеристик испытуемого, таких как его возрастные особенности, когнитивное развитие, уровень владения языком. Задаваемый конструкт должен учитывать общие знания испытуемого, а также тот факт, что его профессиональные знания сформированы недостаточно, поскольку курс обучения иностранному языку при 170-240 часах аудиторных занятий, как правило, заканчивается в третьем, максимум, пятом семестрах. Именно поэтому отбираемые для целей тестирования тексты носят общенаучный и общегуманитарный характер и не содержат незнакомых для испытуемого культурных реалий. Для теоретического обоснования тестового конструкта, измеряемого в рамках конкретного теста, необходимо определить соответствующую психолингвистическую модель чтения, что помогает выделить факторы, оказывающие влияние на измеряемый продукт чтения (понимание прочитанного), а также мыслительные процессы и операции, задействуемые испытуемым при выполнении этого теста. Для целей данного исследования в качестве основной модели используется процессуальная модель чтения Weir–Urquhart, созданная на основе когнитивных моделей чтения Кинча — ван Дейка и Джаста—Карпентера5. Согласно данной модели, понимание прочитанного происходит в процессе восприятия, осмысления и оценки информации, причем, данный процесс осуществляется на основе общих и профессиональных знаний читателя; целеполагание определяет объем, точность и глубину извлекаемой из текста информации, а проводимый испытуемым в процессе чтения самомониторинг позволяет ему отслеживать эффективность и правильность своих мыслительных операций. При этом стандартизированная по объектам контроля процедура тестирования, являясь косвенным способом создания разных алгоритмов чтения, приводит к активизации соответствующих мыслительных операций, способствующих эффективному решению поставленных задач. Показателем того, что испытуемый достиг заданного тестовым конструктом уровня сформированности умения читать на иностранном языке, является определенная степень понимания прочитанного аутентичного текста соответствующего уровня сложности. Поскольку основными характеристиками понимания, принятыми в отечественной методике, являются его полнота, точность и глубина, именно они, в сочетании с показателями скорости и гибкости чтения, должны стать краеугольным камнем при определении уровней сформированности умения читать академический текст на различных этапах обучения иностранному языку в неязыковом вузе. Следующим этапом определяются характеристики академического чтения и номенклатура умений, которые соответствуют уровню В1. Данная работа проводится на основании теоретических положений тестологии и практических рекомендаций по приведению языковых экзаменов в соответствие с параметрами Общеевропейских компетенций владения иностранными языками, а также с учетом проведенного во второй главе анализа международных экзаменов по английскому для академических целей. Далее формулируется измеряемый тестовый конструкт, т.е. выделяется совокупность измеряемых характеристик в контексте лингводидактического тестирования, которые составляют суть измеряемого объекта контроля, что дает возможность экстраполировать результаты теста на реальную жизненную ситуацию, в которой будет применяться измеряемый конструкт. Вследствие того, что формулировка и реализация тестового конструкта взаимосвязаны и взаимообусловлены, следующий этап разработки теста должен обеспечить соответствие текстового материала и тестовых заданий обозначенному тестовому конструкту. В рамках проведенного исследования было выявлено, что при отборе текстов необходимо руководствоваться следующими факторами: соответствие трудности текстового материала лингвистическому, когнитивному и профессиональному уровню студентов; соответствие характеристик текста проверяемым видам чтения; соответствие физических характеристик текста (длина, удобочитаемость) уровню В1. К факторам содержания текстов относятся релевантность тематики (общегуманитарные и общенаучные или научно-популярные тексты) и ее известность для испытуемого. При этом такие факторы, как профессиональные знания и знания культурных реалий страны изучаемого языка, должны быть сведены к минимуму. В языковом плане текст должен удовлетворять языковому материалу, который определен Программой, с учетом тех уточнений и дополнений, которые были сделаны в данной работе, с целью приведения его в соответствие с уровнем В1(Приложение 1). Прагматическая составляющая текстов, отбираемых для целей тестирования умений академического чтения — информирование, убеждение, аргументация. Характер информации — конкретный, в предикациях III и IV уровней возможна информация абстрактного содержания. Тексты могут включать несколько функционально-смысловых типов речи, но превалирование отдельных типов, например, описательного, обязательно учитывается при решении вопроса о соответствии данного текста целям контроля умений определенного вида чтения. Тексты имеют четко выраженную логико-смысловую и логико-композиционную структуру. Маркированность и характер средств связи определен тестовым конструктом и оговаривается в примерной спецификации. С точки зрения информационной насыщенности тесты для изучающего чтения должны содержать дозированный объем информации, поскольку необходимо учитывать довольно ограниченный объем оперативной памяти чтеца уровня В1. Плотность единиц информации в текстах для всех видов чтения должна быть минимальной. Для изучающего чтения длина текста составляет 150— 250 слов, ознакомительного чтения —300 — 430 слов, поискового чтения — 180 — 200 слов. Сформированность умений в разных видах чтения измеряется на разных текстах, при этом закладываемая скорость обработки информации соответствует нормативам, определенным в отечественной методической литературе по обучению чтению, а именно 50—60 сл/мин для изучающего чтения, для ознакомительного чтения —180—190 слов/мин, а для выполнения заданий поискового чтения — 500—550 слов/мин. Следующий этап операционализации конструкта включает определение характеристик тестового задания, которые будут наиболее полно удовлетворять измеряемому конструкту. В число таких характеристик входят способ формулировки инструкции, способ выполнения задания (мыслительные операции, выполняемые испытуемым) и способ его оценки. Для адекватного измерения заданного конструкта «Чтение для академических целей. Пороговый уровень» инструкция должна быть написана на русском языке, формулировка должна быть простой и должна ориентировать испытуемого на необходимую степень полноты, точности, глубины понимания текста. Сложность тестового задания определяется сложностью запрашиваемой информации (конкретность/ абстрактность фактов, понятий и т.д.), способом идентификации правильного ответа, стратегией подбора правильного ответа и убедительностью дистрактора. Выявлено, что для заданного конструкта лучше всего подойдет комбинация заданий 1-го, 2-го и 3-го уровня сложности (см.Таблицу 4). Таблица 4 |
Похожие:
 | Программа дисциплины Английский язык для специальных академических... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 521500.... | | План реализации подпрограммы «Развитие кадрового потенциала учреждения» № n/n Определение ведущих ценностей-целей группы (профессионального сообщества). Определение целей проектной деятельности |
 | Н. Т. Смагулова использование критериально-ориентированных заданий при составлении тестов Программа предназначена для проведения квалификационных испытаний в рамках процедуры аттестации педагогических работников по должности... | | Факторы мотивации студентов при обучении иностранным языкам для профессиональных... Так, поколение У, или молодые люди, рожденные между 1983 и 2003 годом, к которому относятся обучающиеся в настоящее время студенты,... |
| Программа по формированию навыков безопасного поведения на дорогах... Цель анализа: определение уровня продуктивности научно-методической работы, объективная оценка результатов, определение проблем научно-мето дической... | | Руководство пользователя для слушателей Очень большая коллекция тестов на определение Вашего уровня владения английским языком |
| Программа по литературному чтению (1 4 классы) Система Д. Б. Эльконина В. В. Давыдова Программа по литературному чтению ориентирована на достижение целей, задач современного образования, определенных Федеральными государственными... | | 2. Обсуждение прочитанного с целью самостоятельного составления студентами... Разработанный и апробированный на кафедре французского языка учебный курс представляет собой один из вариантов сочетания аудиторной... |
| Памятка Очень большая коллекция тестов на определение Вашего уровня владения английским языком | | Конспект урока по обучению грамоте (литературному чтению) в 1 классе «Г» Плановых контрольных уроков 1 ч ( в конце года), самостоятельных работ, тестов ч |
| Разработка тестов по учебной дисциплине введение Э. А. Бадмацыренова «Разработке тестов для компьютерного тестирования. Методические рекомендации для преподавателей» Улан-Удэ, 2008.... | | Памятка по использованию программы «редактор тестов» Программа предназначена для подготовки тестов по любым темам и предметам |
| Часто задаваемые вопросы по сдо «Доцент» Очень большая коллекция тестов на определение Вашего уровня владения английским языком | | Тесты созданы в соответствии со спецификациями ims qti Очень большая коллекция тестов на определение Вашего уровня владения английским языком |
| Техническое задание на разработку тестов Схема Формирование и обновление баз тестов Единой аттестационной комиссией для проведения квалификационных экзаменов | | Использование информационно – коммуникационных технологий в обучениии английскому языку Очень большая коллекция тестов на определение Вашего уровня владения английским языком |
