Руководство администратора еис 12
Скачать 2.85 Mb.
|
II.8. Обеспечение требуемых функциональных возможностейДля повышения удобности использования Wiki, были добавлены и изменены несколько модулей:
Для вывода содержимого нескольких статей подряд сплошным текстом (точнее, так, как они выведены на своих страницах), необходимо выполнить несколько нижеперечисленных пунктов: Для вывода на печать большого количества страниц: На странице Special:Allpages выбрать нужные статьи, в соответсвующем поле ввести (латиницей) имя страницы для вывода, и нажать кнопку "Выбрать". Вы будете перенаправлены на статью с соответствующим именем, содержимым которой будет список выбранных страниц, каждая страница на новой строке, строка заканчивается HTML-тегом .
Вывод содержимого статьи в другой статье:
Правила использования автоматической установки тега : При использовании кнопки AddPlainTags, руководствуйтесь следующими соображениями:
II.9. Итоги работыВ результате разработки дипломного проекта, в ЕИС кафедры была интегрирована и приспособлена для удобства работы пользователей гипертекстовая система Wiki. Система тестирования. Подходы к построению.Контрольные вопросы и методика анализа результатов при проведении автоматизированного контроля знаний В настоящее время в практике автоматического контроля знаний существует множество тестовых систем. Каждая из них уникальная в той или иной мере, но совершенно ясно, что все они преследуют общую цель — определить уровень знаний учащихся. Для того чтобы добиться таких результатов, при которых тестирующая система стала бы обладать неоспоримыми преимуществами перед классическим устным контролем знаний, разработчики используют различные методы. Самый распространенный из них — это сокращение времени, требуемого на проведения контроля. Достигается такое сокращение применением контрольных вопросов определенных типов. Поскольку невозможно, да и необязательно использовать любые типы контрольных вопросов, каждый разработчик применяет свои типы, хотя в последнее время все идет к стандартизации контрольных вопросов. Огромную роль в этом процессе играет консорциум IMS [2]. В данной статье рассматриваются типы контрольных вопросов, которые применяются в системе автоматизированного контроля знаний APAV TestSystem. Контрольные вопросы и их особенности В реальных тестовых системах контроля знаний наиболее распространенной является выборочная форма ответов на вопрос. В этом случае вопрос сопровождается несколькими готовыми вариантами ответов, из которых учащемуся необходимо выбрать некоторое множество правильных с его точки зрения. В это множество может входить как один, так и несколько ответов. Будем называть такие вопросы «вопросами типа выбора» [3]. Вторым по популярности идет вопрос, ответом на который является результат решения какой-либо задачи, то есть это может быть числовой ответ, текстовый ответ, а также ответ, представленный в некоторой специфической форме, например, формула, структурная схема или область на графике. В последних вариантах необходимо «не увлекаться» красотой или излишней наглядностью ответов, поскольку они не обладают достаточным уровнем абстракции и, следовательно, сложны в анализе. Характерной особенностью подобных вопросов является то, что для их оценки необходимо сравнить полученный ответ с заданным заранее образцом или эталоном. Такие вопросы будем называть «вопросами типа заполнения». Следующий, третий вид вопросов заключается в том, что учащимся необходимо найти зависимость между данными вопроса: например, установить порядок или отношения. Такие вопросы очень удачны, поскольку находят эффектное визуальное представление, особенно при использовании компьютерных средств автоматизации. К тому же они позволяют оценить не только конечные знания учащегося, но и в некоторых вариантах проследить характер его логического мышления. Назовем такие вопросы «вопросами типа порядка» или комбинаторными вопросами. Четвертый тип вопросов, который находит свое применение в системах контроля знаний – это «вопросы с конструируемыми ответами». В такого рода вопросах учащемуся необходимо либо собрать (сконструировать) ответ из предлагаемых элементов (это очень похоже на популярные головоломки – пазлы), либо создать ответ целиком. В первом случае вопрос называется частично-конструируемым, во втором – свободно-конструируемым. Для иллюстрации приведем следующий пример. Вопрос звучит так: сформулируйте закон всемирного тяготения. Учащемуся даются следующие элементы, из которых он должен «собрать» ответ: F, =, G, m, M, R, *, *, 2, /. Теоретически учащийся может получить абсолютно любую комбинацию из этих элементов, но правильной является только одна:  . Нельзя не отметить, что анализ правильности подобных ответов достаточно сложен.В процессе исследования и разработки системы APAV TestSystem были выбраны и сгруппированы следующие типы контрольных вопросов:
Рассмотрим и проанализируем эти вопросы более подробно.
 Рис №1. Пример вопроса типа выбора «одного-из-многих» В данном типе вопроса учащемуся необходимо выбрать один правильный ответ из нескольких предложенных. Этот вопрос является самым «популярным» среди систем тестирования и контроля знаний из-за его видимой простоты. Однако в то же время он является и самым «уязвимым» с точки зрения угадывания ответов. Вероятность угадывания правильного ответа в этом случае вычисляется по формуле:
где n – количество вариантов ответа. Самый распространенный вид такого вопроса, который имеет всего два варианта ответа (например, да/нет) имеет, тем самым, вероятность угадывания — 50%, что является достаточно рискованным случаем в контроле знаний. Если принять за максимальную вероятность 20%, то для такого типа вопросов необходимо указать минимум 5 вариантов ответов.
 Рис №2 Пример вопроса типа выбора «многих-из-многих» В отличие от предыдущего вопроса, в этом учащемуся необходимо выбрать k ответов из n предложенных (  ). Этот вариант является более качественной реализацией «вопросов типа выбора», поскольку несет в себе улучшенную защиту от случайного угадывания ответов. Рассчитаем вероятность случайного «попадания в цель» и определим минимальные требования к количеству вариантов ответов для такого вопроса.Общее количество вариантов выбора k элементов из n предложенных называется числом «сочетаний из n по k» и, следуя выводам классической комбинаторики, вычисляется по формуле:
Поскольку отвечающий на вопрос не знает, какое количество ответов правильное, то все k являются равновероятными. Это означает, что он, с равной долей вероятности, может выбрать в вопросе с пятью вариантами ответов как три, так и два и даже все пять. Суммарное количество всевозможных выборов (Mn) можно вычислить по формуле:
Можно заметить, что Mn не зависит от k. Во-первых, это следует из теории комбинаторики, а во-вторых, опять же является следствием того, что отвечающий изначально не знает какое количество ответов правильное и они все равновероятны. Таким образом, вероятность случайного угадывания правильного ответа:
Для максимальной вероятности в 20% необходимо  вопросов, то есть 3 вопроса. Если же взять пять вопросов за базовое количество их в вопросах типа выбора, то вероятность угадывания в этом случае будет равна 3,125%, что почти в 6 раз меньше, чем в вопросе выбора типа «один-из-многих». В таблице №1 и на рисунке №4 приведено сравнение вероятностей угадывания правильного ответа для «вопросов типа выбора» при различном количестве ответов.
Таблица №1 Расчет вероятностей «угадывания» ответов в вопросах типа «Выбора»
 Рис №3 Пример вопроса типа «заполнения» В этом вопросе учащемуся необходимо заполнить строку, то есть ввести данные, которые он считает правильным ответом, причем в одном вопросе таких «заполнений» может быть несколько. Поскольку учащийся вводит слова, то такие вопросы получаются очень чувствительными к языку, на котором происходит тестирование. К тому же нельзя забывать про то, что всегда существует вероятность описки или опечатки в процессе ответа на вопрос. Поэтому для данного типа вопроса необходимые гибкие методы оценки. В этом вопросе отсутствует необходимость в расчетах вероятности угадывания ответа, поскольку отвечающему не показываются варианты ответов, а, следовательно, у него нет возможности «гадать».  Рис №4 Вероятности «угадывания» ответа на вопросы типа выбора
В данном типе контрольных вопросов учащемуся предлагается расставить указанные объекты в некотором порядке. Принцип упорядочивания указывается преподавателем и, в принципе, может быть абсолютно произвольным. Этот тип вопроса относится к типу «комбинаторных» вопросов, поэтому для оценки ответа на него применяются комбинаторные методы. Поскольку в этом типе вопроса учащемуся показываются все составляющие ответа, то существует вероятность того, что он угадает правильную последовательность (аналогично с вопросами типа «выбора»). Рассчитаем эту вероятность.  Рис №5 Пример вопроса типа «установление порядка» Пусть имеется n объектов, которые надо расположить в некотором порядке. Общее количество вариантов расположения этих объектов в различных порядках, как следует из комбинаторики, равно n!. Таким образом, вероятность угадать правильный порядок может быть вычислена по формуле:
Для максимальной вероятности в 20% необходимо, чтобы  , поскольку n — натуральное число. В таблице №2 и на рисунке №6 приведено сравнение вероятностей угадывания правильного ответа для «комбинаторных типов вопросов» при различном количестве объектов.
Таблица №2 Расчет вероятностей «угадывания» ответов в вопросах типа «Установление порядка»  Рис №6 Вероятность «угадывания» ответа на вопрос типа «установление порядка»
 Рис №7 Пример вопроса типа «установление связей» Этот тип контрольных вопросов, относящийся, как и предыдущий, к комбинаторному типу, проверяет способность учащихся устанавливать логические, смысловые или иные типы связей между двумя группами объектов. Учащийся должен указать пары связанных объектов. Подразумевается, что такие пары существуют и они однозначны. Для формализации этот тип вопросов можно описать следующим образом: Имеется два конечных множества A и B. Необходимо указать все отношения вида <ai, bj>, где  , n=|A|, m=|B| удовлетворяющие условию.Как и в случае с предыдущим вопросом, при использовании вопроса типа «установлении связи» возможна такая ситуация, что учащийся угадает правильный ответ. Вычислим эту вероятность. Пускай учащийся взял первый объект из первой группы. Тогда ему он может сопоставить любой из m объектов второй. Допустим, он выбрал один. Для выбора второй пары у учащегося остается уже m-1 объектов. Если продолжать такой выбор, то получится, что у учащегося есть всего  вариантов. Можно заметить, что получившийся результат есть ничто иное, как число размещений m по n. Единственное ограничение, накладываемое на мощности множеств A и B, — это то, что  .Таким образом, вероятность угадывания ответа в случае с вопросом «установление связей» может быть вычислена следующим образом:
Заметим, что этот тип контрольных вопросов уникален тем, что вероятность угадывания ответа в данном случае зависит от двух параметров, а не от одного, как это было во всех предыдущих случаях. Величины вероятностей «угадывания» ответов для различных комбинация параметров m и n приведены в таблице № 3, а график зависимости вероятности от параметров на рисунке №8.  Рис №8 Вероятность «угадывания» ответа на вопрос типа «установление соответствия»
Таблица №3 Расчет вероятностей «угадывания» ответов в вопросе типа «установление связей»
 Рис. №9 Пример вопроса со свободно-конструируемым ответом В этом вопросе учащийся должен написать «эссе» на тему, заданную в формулировке вопроса. Методика оценки правильности ответов учащихся Оценить полученный ответ учащегося на заданный в тесте вопрос – первая задача системы контроля знаний. С того момента, как началось применение систем тестирования, происходит постоянное совершенствование способов вычисления оценки. Как уже говорилось ранее, автоматически оценить можно ответы на все типы контрольных вопросов, за исключением свободно-конструируемого. Такое оценивание возможно, поскольку для любого вопроса создавший его преподаватель должен был указать еще и правильный ответ, своего рода шаблон, с которым в дальнейшем и будет сравниваться ответ учащегося. Самый простой способ оценки — дихотомический. В этом случае система делает категоричный вывод: совпадает ли ответ учащегося с заранее заданным шаблоном, или нет. Если совпадает, то ответ считается правильным, в противном случае — нет. Этот способ применим ко всем типам контрольных вопросов, рассматриваемым в данном исследовании, однако решение о его применении принято не было. Дело в том, что такая жесткая оценка не применима в обучении. Ее можно применять на производстве, в технике. В образовании же всегда необходимо понять, насколько тот или иной ученик понял материал предмета [4]. Поэтому оценка должна быть гибкой и распределенной в интервале от минимальной до максимальной. В связи с вышесказанным были разработаны алгоритмы оценки ответов на вопросы.
Для вычисления оценки учащегося при ответе на вопрос типа «выбора» необходимо найти степень различия между двумя множествами: множеством правильных ответов, которое задал составитель вопроса, и множеством, состоящим из ответов, которые дал учащийся. Большинство существующих решений предлагают вычислять это различие как расстояние между множествами. Недостаток подобных оценок заключается в том, что, во-первых, она не учитывает «степени правильности» ответов, а, во-вторых, результат получается слишком «математическим». Это означает, что оценки будут равнораспределенными в интервале [0..1], и, следовательно, будет очень много оценок близких к «нулю». Для того чтобы избежать подобных неточностей, нами предлагается следующий алгоритм. Для начала определимся с понятиями. S — упорядоченное по номеру множество эталонных ответов, а Si – степень правильности i-го эталонного ответа. U — упорядоченное по номеру множество ответов учащегося, а Ui – степень правильности i-го ответа учащегося.
M’ — оценка, равнораспределенная в интервале [0..1]. Можно заметить, что М’ удовлетворяет классическому определению расстояния между множествами, а именно [1]: 1. |aa| = 0, ∀a; 2. |ab| = |ba|, ∀a,b; 3. |ab| + |bc| ≤ |ac|, ∀a,b,c. Чтобы избавиться от недостатка равнораспределенности, мы должны нормировать результат, используя следующую формулу:
Вычисленное таким образом М «сдвинуто вправо» от «нуля», поэтому вероятность получения за неправильные ответы оценки «0» уменьшена. Необходимо заметить, что мы привыкли получать оценки не в интервале [0..1], а определенными в иных границах числами, например [1..5], или [1..100]. Это достигается умножением М на поправочный коэффициент Schema_Mark, причем этот коэффициент может быть произвольным в каждой схеме тестирования. Итак, полученная нами итоговая оценка Mn будет такой:
На примере вопроса «заполнение строки» Чтобы получить оценку при анализе ответа учащегося на вопрос типа «заполнения строки» надо вычислить степень «схожести» строки-эталона, заданного составителем вопроса и строкой, которую создал учащийся при ответе на вопрос. Здесь необходимо учитывать тот факт, что все люди имеют особенность делать опечатки, то есть ошибки важностью которых в рамках данного вопроса можно пренебречь. Проблема в том, что в вопросах заполнения такие ошибки непредсказуемы и также неизвестно их распределение. Под степенью схожести двух ответов-строк будем понимать количество операций (добавления/удаления/замены символа), которые нужно провести со строкой-ответом, чтобы она перешла в строку-эталон. Один из методов вычисления подобной величины был разработан в 1965 году математиком В. И. Левенштейном. Его и предлагается использовать, поскольку это метод очень прост в реализации. Нельзя не отметить, что в современной математики, теории информации и компьютерной лингвистике существует более сложные, но в то же время и более точные методы вычисления степени схожести образцов. Например, метод шинглов. Пусть имеется шаблон правильного ответа на вопрос – S, и ответ студента на этот вопрос – U. Степень схожести этих двух образцов:
FL в формуле (2.8) – функция Левенштейна, или иная функция, вычисляющая степень схожести двух образцов. Тогда оценка за ответ на подобный вопрос будет вычислена нами следующим образом:
где N – максимум количеств символов в S или U, а Schema_Mark – поправочный коэффициент.
Для вычисления оценки за ответ на вопрос типа «порядка» необходимо определиться с принципами оценки. После ответа ученика имеется два множества: правильный ответ (шаблон) и, собственно, ответ ученика. С математической точки зрения ответ ученика есть перестановка шаблона. Чтобы вычислить оценку надо также как и в случае ответа на вопрос типа «выбора» найти расстояние между этими множествами. Отличие заключается в том, что в данном случае множества всегда имеют одинаковое количество элементов, то есть они всегда равномощны. В рамках данного исследования предложим следующим метод вычисления нужного расстояния. Введем понятие di – расстояние i-го элемента ответа от его «правильного» положения относительно шаблона. В этом случае расстоянием между ответом учащегося и правильным ответом-шаблоном назовем  (2.11), где n – количество элементов в ряду.Максимальное расстояние между множествами достигается в случае, когда ответ учащегося является обратным правильному ответу, то есть идет в обратном порядке. Для вычисления этого максимального расстояния применим формулу:
Таким образом, для вычисления оценки за ответ на вопрос типа «порядка» в случае нормирования результат необходима следующая формула:
Полученную формулу мы и используем в разработанной нами системе контроля знаний.
Шаблоном правильного ответа является в данном случае множество пар, соответствующих правильным связям. Таких пар — N, где N — количество объектов в каждой группе. Ответ учащегося тоже представляет собой N-пар. Чтобы оценить ответ необходимо найти расстояние между этими множествами. Здесь существует два варианта, которые зависят от способа описания вопроса. Для определенности назовем один из них простым, другой – сложным. В простом варианте если ответ присутствует в шаблоне, то ему ставится вес, равный «1», если нет — то вес, равный «0». В этом случае при создании вопроса преподавателю не нужно указывать «правильность» каждой возможной паре ответов (их, как мы знаем, всего N!). Но и результат оценки тогда получится дихотомичным. В сложном варианте преподаватель может отдельно указать степень правильности каждой возможной пары, что позволит получить более гибкую оценку ответа на вопрос. Независимо от варианта, вычисление оценки аналогично вычислению оценки на вопросы типа «выбора». Применим уже объясненный выше алгоритм для вычисления оценки. Обозначим за wi вес выбранной учащимся пары, тогда суммарный вес ответа будет  . Результат оценки в соответствии с принципами нормализации, изложенными выше, будет следующим:
В процессе вычисления общей оценки за тест необходимо учитывать результаты ответов на все вопросы, заданные ученику за время прохождения теста. Для того чтобы увеличить качество результата вводится понятие «сложность вопроса» (вес вопроса). Чем сложнее вопрос, тем большую толику в общий результат теста должен вносить правильный ответ на него. Таким образом, для вычисления результата нами предлагается следующая формула:
где mi — оценка за вопрос, а si — его сложность. Выводы В данной статье мы описали основные контрольные вопросы, которые можно применять в современных системах автоматизированного контроля знаний, указали на их преимущества и «слабые» места, а также описали методы вычисления оценки учащихся, отвечающих на подобные вопросы. Особого внимания заслуживает тот факт, что описанные принципы оценки используют только простые математические приемы. Это означает, что работа базирующихся на них программ занимает мало времени и оценка происходит очень быстро. Литература:
Москва 2006 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
где N — количество ответов.
Похожие:
 | Руководство администратора Автоматизированная информационная система ведения единого государственного реестра земель | | Руководство Администратора Системы Москва 2009 Служба технической поддержки «горячая линия» «учет достижений обучающихся общеобразовательных учреждений в учебной и внеучебной деятельности в форме портфолио» |
 | Руководство Администратора Системы Москва 2009 Служба технической поддержки «горячая линия» «учет достижений обучающихся общеобразовательных учреждений в учебной и внеучебной деятельности в форме портфолио» | | Руководство: Общее руководство праздника осуществляется учителем... Использование средств физического воспитания в организации активного отдыха укрепление здоровья учащихся |
| II. Назначение и задачи единой информационной среды школы Единая информационная среда (еис) – это среда, которая осуществляется объединением информационных потоков школы (производство, хранение,... | | Руководство администратора Добавлено описание по заполнению файлов загрузки учреждений (п. 2 Подготовка Excel-файлов для импорта учреждений) и по заполнению... |
| Инструкция администратора лпу для работы в сервисе «Запись на прием к врачу в электронном виде» Краткая инструкция администратора лпу для работы в сервисе «Запись на прием к врачу в электронном виде» | | 1. Руководство племенной работой. 1 Руководство племенной работой... Коучинг с помощью нлп: Практическое руководство по достижению поставленных целей / Джозеф О'Коннор, Андреа Лейджес. — Пер с англ.... |
| Руководство по изучению дисциплины «Операционные системы, среды и оболочки» Руководство необходимо для общего ознакомления с дисциплиной и содержит сведения | | 1. Настоящее положение регламентирует обязанности дежурного администратора,... Настоящее положение регламентирует обязанности дежурного администратора, дежурного учителя, дежурного класса и устанавливает порядок... |
| Правила поведения на уроках ... | | 7. Руководство практикой, обязанности руководителей практики Настоящее «Руководство по качеству» не может быть полностью или частично воспроизведено, тиражировано и распространено без разрешения... |
| Руководство к выполнению курсовой работы по дисциплине «Управление качеством» Руководство предназначено для студентов специальности 080401. 65 «Товароведение и экспертиза товаров (по областям применения)» всех... | | Руководство по изучению дисциплины «Экономика» для студентов специальности 080801(351400) Руководство необходимо для общего ознакомления с дисциплиной и содержит сведения |
| Методическое руководство Руководство предназначено для разработчиков электронных обучающих материалов и электронных учебных курсов, отвечающих требованиям... | | Решение на допуск к занятиям у дежурного администратора, старшего мастера в мастерских Настоящее Положение разработано на основе Закона «Об образовании», Типового Положения, Устава кгкоу нпо пу 18 (далее Учреждение) |
