Разработка алгоритма процесса оценки компетентности обучающегося
В настоящее время имеется множество алгоритмов, реализующих различные подходы к оценке компетенций. Эти алгоритмы описывают процессы оценки, как уже действующих систем оценки компетенций, тестирования, так и разрабатываемых Большинство систем тестирования интегрировано в электронные системы обучения, но есть и узкоспециализированные системы.
Веб-инструмент электронного тестирования OpenTest, разработанный компанией «Милдсофт» [75], архитектурно представляет собой Интернет-сервис, позволяющий в кратчайшие сроки разработать собственные тесты и развернуть полнофункциональную платформу для распределенного тестирования в организации. Чтобы использовать систему менеджеру, автору и любому участнику нужен только браузер и Интернет. OpenTest - это система для предметного использования специалистами по обучению, менеджерами, хэдхантерами и руководителями. Важно, что созданные тесты защищены вашими авторскими правами и будут доступны только определенному вами кругу лиц. Продукт OpenTest позволяет выбрать тот браузер, к которому котрый привычен - Internet Explorer, Mozilla Firefox, Google Chrome, Safari, Android или Opera и быстро организовать тестирование и обучение персонала. Поддерживаются разные типы тестовых заданий и гибкая настройка системы под конкретные задачи клиента.
В cистеме OpenTest доступны следующие виды заданий:
Единственный выбор. В задании типа "Единственный выбор" испытуемому предлагается выбрать один ответ из нескольких предложенных вариантов;
Множественный выбор. В задании типа "Множественный выбор" испытуемому предлагается выбрать один или несколько ответов из предложенных вариантов;
Сортировка. В задании типа "Сортировка" испытуемому предлагается упорядочить предложенные варианты согласно некоторому критерию;
Установление соответствия. В задании типа "Установление соответствия" испытуемому предлагается установить соответствие между предложенными вариантами и имеющимися категориями;
Текстовый ввод. В задании типа "Текстовый ввод" испытуемому предлагается ответить на некоторый вопрос или ввести пропущенный текст.
Для оценки результатов тестирования в системе OpenTest используются многофункциональные шкалы. Это позволяет использовать одну шкалу для нескольких создаваемых тестов. При создании шкалы пользователь вводит уровни оценки, количество которых может быть от 2-х (сдал/не сдал), так и несколько, например (не сдал/удовл/хорошо/отлично). Шкалы оценок могут применяться как ко всему тесту, так и к отдельным его темам.
Система Интерактивного Тестирования Знаний «СИнТеЗ» [40]. Система использует WEB - технологию, поэтому устанавливается только на один мощный компьютер – сервер и доступна с любых подключенных в сети компьютеров, что позволяет иметь возможность работы через Интернет. Система разделена на три ролевых модуля:
Модуль №1. Завуч – выполняет подготовительную административную работу.
Модуль №2. Учитель создает, редактирует и публикует тесты; для тех или иных учеников, а также проверяет результаты тестирования, выставляет итоговую оценку, проводит анализ тестирования.
Модуль №3. Ученик – сдает тесты.
Система имеет возможности разбивать тесты на темы, указывать уровень сложности вопросов, позволяет в текст вопроса и ответа вставлять картинки, звук, фильмы, списки, таблицы и т.д., создавать вопросы различных типов.
Система позволяет составлять сценарии тестирования, т.е. указывать, сколько вопросов, по какой теме, какого уровня сложности будет задано ученикам из всей базы вопросов, указывать гибкие настройки времени.
Система тестирования «INDIGO» [41] представляет собой мультифункциональный комплекс программного обеспечения, позволяющий автоматизировать процесс проведения тестирования и обработки результатов. Система «INDIGO» является универсальным инструментом, который можно использовать для решения широкого спектра задач:
Практическая ценность системы тестирования «INDIGO» состоит в эффективной автоматизации тестирования за счет широких функциональных возможностей и обеспечении надежности и удобства работы пользователей при создании тестов и в процессе тестирования за счет удобного и современного пользовательского интерфейса. Ликвидирует физические и временные затраты по определению результатов тестирования за счет автоматического расчета баллов по заданным параметрам. Система тестирования «INDIGO» представляет собой комплекс программного обеспечения, который состоит из двух частей:
В системе INDIGO для любого теста можно задавать произвольное количество шкал результатов и произвольным образом задавать их функции и деления.
В редакторе курсов CourseLab [37] выбор метода тестирования напрямую зависит от особенностей материала курса, целевой установки и применяемых показателей обученности. Все имеющиеся виды тестов не выходят за рамки версии 1.2 стандарта IMS QTI (Question & Test Interoperability), поэтому должны быть доступны для быстрой разработки большинством редакторов электронных курсов. CourseLab предоставляет возможность простой и быстрой вставки в учебные модули как отдельных вопросов, так и тестов, состоящих из множества вопросов. Необходимо только заполнить параметры вопросов
В CourseLab поддерживаются следующие типы вопросов:
единственный выбор - выбор одного варианта из набора значений (включая и вопросы типа "true-false");
множественный выбор - выбор нескольких вариантов из набора значений;
ранжирование - расположение вариантов в правильном порядке;
числовой ввод одного или нескольких значений;
текстовый ввод одного или нескольких значений;
парное соответствие - подбор правильных пар вариантов.
Можно использовать случайную выборку вопросов из списка. CourseLab дает возможность построить практически любое упражнение или тест с использованием полей ввода, элементов форм, зон нажатия мыши, перетаскивания объектов и т.п.
Описанные виды тестов не выходят за рамки версии 1.2 стандарта IMS QTI (Question & Test Interoperability), поэтому должны быть доступны для быстрой разработки большинством редакторов электронных курсов. В редакторе CourseLab предоставляется возможность простой и быстрой вставки в учебные модули ,как отдельных вопросов, так и тестов, состоящих из множества вопросов. Необходимо только заполнить параметры вопросов.
CourseLab дает возможность построить практически любое упражнение или тест с использованием полей ввода, элементов форм, зон нажатия мыши, перетаскивания объектов и т.п.
В существующих системах можно выделить два основных подхода создания комплекта вопросов и ответов.
Тест может быть бинарным (из предлагаемых вариантов ответа только один правильный) и множественным (в предлагаемых вариантах ответов может быть несколько правильных ответов). Бинарный тест или тест с дихотомическим выбором ответа [dichotomous-choice test] представляющий собой вопросник, в котором тестируемый, выполняя задание теста, выбирает один из двух готовых ответов: "правильно"-"неправильно", "да"-"нет", "согласен"-"не согласен".
Для решения задач обучения все шире используются интеллектуальные технологии. Интеллектуальные системы обучения имеют возможность реагировать на изменения внешних данных об обучающем – уровне продемонстрированных в процессе тестирования знаний в виде ответов на заранее подготовленные ответы. При этом реакция системы выражается в виде совокупности действий, формируемых для каждого из обучающихся индивидуально (формировании индивидуальной траектории обучения), в зависимости от продемонстрированных результатов, направленных на стимулирование конкретного обучающегося глубже изучить предмет и продемонстрировать понимание предмета и применение полученных знаний. Создание и поддержка мотивации у обучающихся является не менее важным фактором.
Реакцией интеллектуальной системы тестирования в зависимости от полученных результатов оценки знаний могут быть:
предложение обучающемуся изучить дополнительно учебный материал, пройти добровольное повторное тестирование по конкретной теме курса в случае, если он допустил незначительное число ошибочных ответов по этой теме и получил итоговую оценку «хорошо» или «удовлетворительно» с целью повышения оценки.
предложение обучающемуся изучить повторно учебный материал по темам курса и принудительно пройти повторное тестирование в случае получения им итоговой оценки «неудовлетворительно».
формирование итоговой оценки тестирования в зависимости от сложности вопросов, составляющих тест. При этом интеллектуальная система тестирования допускает для получения той же оценки большее количество неправильных ответов в случае, если количество «трудных» вопросов в тесте больше по сравнению с тестом, в котором содержатся только «простые» вопросы.
формирование оценки «неудовлетворительно» в случае, если обучающийся продемонстрировал незнание основ предмета при любых результатах ответов на другие вопросы теста.
адаптация сложности вопросов (перераспределение процентного соотношения вопросов с различным уровнем сложности) тестов в случае, если статистика результатов тестирования группы обучающихся показывает чрезмерно низкий или высокий уровень оценок у всей группы обучающихся.
Главным инструментом системы тестирования обучающихся является механизм принятия решения при оценке уровня знаний обучающегося по результатам анализа правильности выданных им ответов на вопросы теста. При этом система должна гибко и однозначно реагировать на такие факторы как сложность вопросов теста, распределение правильных и неверных ответов по темам вопросов теста. Система тестирования должна учитывать различный вклад в итоговую оценку результатов выполнения теста, складывающийся из правильных ответов на вопросы о знание предметной области и вопросов на понимание и применение предмета. При этом система тестирования должна выставить неудовлетворительную оценку обучающемуся, выявившему в ходе тестирования незнание основ предмета. Это возможно реализовать, приняв гибкую шкалу оценок знаний.
Рассмотренные подходы к использованию и разработке тестирующих систем позволяют выделить их главную особенность - ориентация на заранее заготовленные схемы тестирования. Такие схемы не способны адекватно оценить обучающего в силу его индивидуальных особенностей и имеющихся знаний. Кроме того одна схема не может оценивать полученные результаты обучения различными формами обучения.
Требуется более тонкий подход, учитывающий как используемые формы обучения, так и индивидуальные особенности обучаемых, в основу которого может быть положена индивидуальная траектория тестирования. Построение индивидуальной траектории тестирования, формируемой в зависимости от имеющихся компетенций и используемых форм обучения позволит компенсировать этот недостаток.
Для учета имеющихся компетенций обучаемого предполагается использование электронной карты обучаемого, в которой фиксируются все полученные в ходе обучения и подтвержденные проверкой (тестированием) знания (компетенции).
В этом случае возможны: проверка только новых знаний; проверка части ранее полученных знаний и новых.
Система тестирования, как отмечалось в отчете за 2 этап, должна создаваться как многоагентная система. Основными задачами, которые должна решать эта система, являются:
Оформление обучаемого (формирование электронной карты)
Формирование, по электронной карте и требуемой компетенции, текущей компетенции
Планирование для обучаемого индивидуальной траектории тестирования
Реализация траектории тестирования
Формирование «оценки» обучаемого.
Кроме того система тестирования должна хранить и предоставлять для работы тестовые объекты и знания (метаданные) о тестовых объектах. Для этих целей система должна включать репозиторий тестовых объектов и базу знания (метаданных) о тестовых объектах.
Тестовые объекты представляют собой отдельные автономные задания, которые однозначно определяют наличие компетентности или ее элемента. Тестовые объекты могут храниться в репозитории в виде файлов любой природы (текст, графика, аудио и т.д.).
Знания о тестовых объектах могут представляться в концептуальном виде. Для интегрированного метода представления знаний описание метаданных )знаний) о тестовых объектах включают:
Имя тестового объекта, предусловия,
Постусловия, список имен нижнего уровня, список имен верхнего уровня.
Структура многоагентной системы тестирования представлена на Рисунок 9. В этой системе выделены агенты для каждого обучаемого в виде интерфейса, индивидуальной среды тестирования и формирования текущей компетенции, агент формирования эталона оценки и агент формирования индивидуальной траектории тестирования. В репозитории хранятся тестовые объекты и метаданные о них [45,46].
Рисунок 9. Структура многоагентной системы тестирования
Пошаговое описание алгоритма процесса оценки компетентности обучаемого имеет следующее содержание:
1. Идентификация обучаемого.
2. Фиксация цели обучения/тестирования – требуемой компетенции.
3. Актуализация/Создание электронной карты обучаемого.
4. Определение текущей компетенции в контексте заявленной цели.
5. Формирование индивидуальной траектории тестирования.
6. Реализация траектории тестирования.
7. Формирование «оценки» обучаемого.
8. Заполнение электронной карты обучаемого результатами тестирования.
Рисунок 10. Алгоритм процесса оценки тестирования.
Траектория тестирования представляет собой план, состоящий из нескольких шагов. На каждом шаге находятся задания. Задания одного шага не коррелируют друг с другом. Задания из разных шагов плана зависят друг от друга. Отрицательный результат выполнения на начальном шаге не позволяет обучаемому (в силу его компетентности) выполнить задание/задания следующего шага. Эксперты, либо специальный блок интеллектуальной обучающей системы, в этом случае, определяют обучаемому дополнительное обучение или невозможность достичь требуемой компетенции. Структурная схема алгоритма оценки тестирования показана на Рисунок 10.
|
