1.2. Анализ решений, применяемых для анализа данных в обучении
Далее рассматриваются некоторые решения, применяемые при анализе данных в обучении. Основным источником информации по такого рода системам являются ежегодные конференции по EDM, которые проводятся в разных городах Европы, где рассматриваются новые разработки в этой области: алгоритмы, методики и, что наиболее ценно, в этих работах можно почерпнуть информацию о реально существующих или разрабатываемых системах, которые реализуют те или иные подходы дисциплины EDM.
1.2.1. TeamAnalytics
Этот инструмент предназначен для оценки и динамического представления вклада студентов в проект. Преподаватели не всегда могут видеть и оценить результат работы команды и каждого студента в отдельности, так как обычно проект хранится в Google Docs, Wiki и SVN (Subversion), и для того, чтобы это исследовать, преподавателю необходимо достаточно много времени. Для более простого наблюдения за успеваемостью необходим соответствующий простой в использовании инструмент, TeamAnalitycs — такой инструмент, собирающий информацию о вкладе участников проекта и команды в целом, который может использоваться преподавателям для оценки эффективности работы. Цель — не просто ставить одинаковые оценки для всех членов команды, а оценивать вклад каждого участника, проверять прогресс по проекту в любой момент времени.
TeamAnalitycs встроен в систему систему управления обучением Learning Managment System (LMS) Moodle[5]. С помощью этого инструмента собираются данные об изменении, добавлении, удалении страниц в Wiki и Google Docs, а так же статистика об активности в SVN. После сбора данных идет их обработка. Для обработки данных из Wiki используется NLP (Neuro-Linguistic Programming) и машинное обучение. При появлении новых данных запускается программа, которая разбирает документы и на основании автоматического классификатора генерирует распределение страниц по темам. Затем сводная полученная информация отправляется еженедельно преподавателю на почту. Так же они могут просматривать статистику по каждой группе в Moodle в любое время. Помимо информации о вкладах участников команд из Wiki и SVN генерируется
так же дерево страниц Wiki, генерация этого дерева основана на ссылках страниц и их распределении по темам. Делается это для структуризации страниц проекта и удобного просмотра.
Процесс обработки данных состоит в следующем. Данные SVN-сервера забираются каждые 24 часа, так же собирается информация из Wiki и Google Docs с помощью Google API, в случае обработки страниц, программа запускается при каждом их изменении участником команды. Данные складываются в общую базу данных, затем запускается обработчик, которые из этих данных вырабатывает суммарный модуль, который доступен из Moodle.
Классификация страниц на темы по заголовкам и содержанию основана на использовании Labeled LDA(Latent Dirichlet Allocation)[6]. LDA имеет недостаток, который состоит в том, что этот метод не позволяет учитывать семантику слов, а оперирует только самими слова, что в случае наличия шумов (например, неподходящих данных из обсуждений страниц) даст некорректный результат и воспользоваться такими данными будет нельзя.
В результате TeamAnalitycs предоставляет визуализацию документов в виде дерева, сгруппированные по темам, в случае, если страницы Wiki, они связаны ссылками, если это GoogleDocs, то они связываются ссылками при помощи Moodle. В дереве документов показано, сколько раз редактировалась страница, сколько слов было добавлено, сколько ссылок в документе, кто создал документы и т. д. Также представляется недельный отчет - диаграмма, показывающая количество документов по каждой теме, затем такая же диаграмма, но относящаяся к каждому участнику команды отдельно[7].
Группой специалистов был проведен анализ компонент TeamAnalitycs. Преподавателей и менеджеров опросили о важности для них каждой части инструмента. Наиболее полезной для них оказалась информация, полученная из данных SVN (Subversion).
1.2.2. Анализ участия студентов в онлайн курсах и использованием техники социальных сетей
На сегодняшний день, тенденция заключается в увеличении количества курсов с различными электронными обучающими средами, использующими инструменты, такие как Moodle и другие. Накопленные онлайн обсуждения в этих ресурсах влияют на процесс обучения студентов. Эти обсуждения могут содержать огромное количество данных, накопленных в течение месяцев или целых учебных семестров. Из них можно вынести полезную информацию для преподавателей, например, оценку участия студентов в образовательном процессе, что избавит преподавателей от траты большого количества времени на ручную обработку данных, находящихся в обучающих средах.
Чаще всего в обучающих системах есть только статистическая информация о частоте правок, которая не дает полного представления об активности студента. Анализ преподавателями дискуссии студентов вручную чреват ошибками, к тому же на это придется тратить достаточно много времени. Такие традиционные методы, как, например, анализ содержимого позволяют выделить информацию о конкретных участниках. Анализ содержимого поможет понять шаблоны поведения студентов и дать ответы на вопросы: кто и в какие дискуссии вовлечен, кто в них играет активную роль, а кто пассивную.
Для выделения полезной информации из дискуссий используются подход нахождения социальных сетей при помощи анализа содержимого. Здесь может потребоваться поиск подходящих индикаторов для оценки участия и их измерения, используя метод анализа социальных сетей.
Meerkat-ED — инструмент для анализа взаимодействий студентов в дискуссионных форумах с использованием техник социальных сетей. Этот инструмент собирает и визуализирует информацию из дискуссий, анализирует содержимое сообщений при помощи создания информационной сети терминов и использует анализ сообщества, создает иерархию обсуждаемых тем в форуме, что дает инструктору быстрый доступ к обсуждаемым темам. В дальнейшем этот инструмент показывает, как студенты участвуют в обсуждаемых темах, выводя информацию о количестве сообщений, ответов и порции терминов, используемых студентом в дискуссии.
Социальные сети представляют собой, как правило, множество участников. При этом под участниками в терминологии системы понимаются не только как люди, но и веб-страницы, страны, документы. Могут быть различные типы отношений между участниками — сотрудничество, дружба, веб-ссылки, цитаты, информационные потоки[8].
|
