Контрольно-измерительные материалы нового поколения
В 2012-13 учебном году продолжена работа по формированию общеуниверситетского банка измерительных материалов как инструментов для оценки сформированности образовательных результатов разного уровня.
Разработаны КИМ по основным дисциплинам «ядра» направлений подготовки бакалавров и магистров, реализуемым по образовательным стандартам НИУ ВШЭ:
98 вариантов тестов для проверки знаний, умений и навыков (остаточных знаний) и уровня сформированности компетенций по 27 направлениям подготовки уровней бакалавров и магистров;
900 компетентностно-ориентированных заданий (КОТЗ) по специальному шаблону, выявляющим связь между компетенциями, заявленными в образовательном стандарте.
Все договоры на создание КИМ являются договорами авторского заказа. Таким образом, многие преподаватели ВШЭ при поддержке Методического управления активно работают в поле создания результатов интеллектуальной деятельности (РИД) НИУ ВШЭ, пользуясь и оформляя согласно авторскому праву созданные произведения.
Нововведением 2012-13 уч.г. явились разработанные унифицированные шаблоны оформления спецификации и вариантов тестов НИУ ВШЭ согласно внешнему оформлению и использованию логотипа НИУ «Высшая школа экономики».
Разработкой КИМ занимались 53 автора-преподавателя ВШЭ по 44 дисциплинам различных факультетов/отделений ВШЭ. Созданы и доработаны 44 компетентностные карты дисциплин.
Нужно отметить, что в 2012-13 уч. году в разработку КИМ общеуниверситетского банка активно включились Высшая школа урбанистики (ВШУ), факультет логистики, факультет филологии и МИЭМ.
Самый большой охват дисциплин по разработке КИМ - у факультета права, экономики, бизнес-информатики НИУ ВШЭ.
Традиционно все КИМ НИУ ВШЭ прошли внутреннюю экспертизу качества педагогических тестовых материалов, включающую в себя предметную, тестологическую и статистическую экспертизы. В группе эксперты КИМ работали ведущие преподаватели ВШЭ и привлеченные эксперты из других вузов, сотрудники Института образования НИУ ВШЭ, магистры и выпускники программы «Изменения в психологии и образовании».
В 2012-13 уч. г. продолжается процедура сертификации КИМ НИУ ВШЭ внешним экспертным органом, уполномоченным в области сертификации педагогических тестовых материалов. На сертификацию КИМ выдвинуты 47 вариантов тестов, разработанных преподавателями Университета.
В рамках формирования пула квалифицированных специалистов ВШЭ
в области разработки измерителей нового поколения в высшем образовании, подготовлены требования к сертификации КИМ и сертификации разработчиков КИМ. Эта работа проведена в рамках планирования образования Центра сертификации НИУ ВШЭ.
В рамках проекта организовано постоянно функционирующее повышение квалификации для разработчиков КИМ. Все материалы ПК выложены в системе LMS.
В 2012-13 уч. г. начата экспериментальная разработка банков заданий преподавателями ВШЭ для проведения компьютерного адаптивного тестирования (КАТ) при поддержке высококвалифицированных специалистов международного уровня в области КАТ из Института образования НИУ ВШЭ. При компьютерном адаптивном тестировании (КАТ) для каждого оцениваемого респондента в процессе тестирования формируется индивидуальный набор заданий согласно уровню сформированных компетенций. Разработка, экспертиза и калибровка, формирование калиброванных банков заданий по дисциплинам – первые шаги в формировании специального модуля LMS КИМ «Автоматизированная среда для создания, хранения и использования тестовых заданий» для проведения КАТ.
Анализ размещения программ учебных дисциплин на портале, выборочный анализ качества программ дисциплин
В 2012-2013 учебном году ситуация с размещением на портале программ учебных дисциплин (ПУД) сохраняла ранее применяемый принцип: однажды размещенные в базе данных (БД) портала «Учебные курсы» программы закрепляются за годом преподавания и в следующем учебном году попадают в архив. Для актуализации программ текущего учебного года осуществляется их автоматическая загрузка в соответствии с рабочими учебными планами (РУПами) и проверка авторами-разработчиками и ответственными за размещение ПУД на портале от кафедр/факультетов. Возможность автоматического перенесения программы, с одной стороны, удобна тем, что сокращает рутинный труд преподавателей и сотрудников кафедр по размещению утвержденных и действующих программ, с другой стороны – допускает недобросовестное отношение к необходимости обновления размещенной на портале информации. Например, на начало 2012 -2013 учебного года размещение программ по некоторым подразделениям в количественном отношении попадало в интервал 0-30% (в основном, это касалось подразделений присоединившегося МИЭМ). Отсутствие на портале программ дисциплин пагубно сказывалось на возможностях выбора студентами элективов и факультативов.
В течение года силами помощника первого проректора Радаева В.В. и Методического управления проводилась работа по анализу причин отсутствия программ учебных дисциплин конкретных преподавателей и кафедр/департаментов. Анализ выявил ряд системных недочетов (в частности, связанных с потерей данных о программе дисциплины в связи с техническими обновлениями РУПов на портале; множественным учетом сотрудников, совмещающих преподавание на разных кафедрах и т.п.), но и влияние человеческого фактора. Например, ряд сотрудников считал программы учебных дисциплин авторским продуктом и отказывался размещать их в свободном доступе. Некоторые преподаватели целиком полагались на ответственного за программы учебных дисциплин на кафедре/факультете, не считая их обновление и размещение зоной своей личной ответственности. Отдельной проблемой явилось размещение на портале так называемых «авторских» версий ПУД – т.е. программ, которые не прошли даже первичного обсуждения в подразделениях и не всегда соответствовали общим требованиям к содержанию и оформлению ПУД.
Статистика базы данных «Учебные курсы» содержит данные о статусе программ учебных дисциплин по состоянию утверждения4
Учебный год
|
версия автора
|
утверждено кафедрой
|
утверждено профессиональной коллегией УМС
|
утверждено УС факультета
|
в % от числа размещенных программ
|
2010/2011
|
35
|
16,5
|
13
|
35
|
2011/2012
|
30,3
|
14,2
|
4
|
17,4
|
2012/2013
|
35,8
|
13,5
|
1,8
|
5,3
|
По данным таблицы видно, что роль профессиональных коллегий УМС и УС факультетов в утверждении программ снизилась по сравнению с 2012 г. По данным факультетов, отчасти это связано с объемами новых и требующих переутверждения программ. Что на больших факультетах делает роль УС в этих процессах чисто формальной.
Выявилась проблема, что далеко не все подразделения размещают программы своих дисциплин именно в общей базе данных. Так, ряд подразделений ведет реестры ПУД на собственных ресурсах (страницах портала), не дублируя программы в БД «Учебные курсы».
Анализ показал также, что необходимо изменение регламентов согласования и утверждения программ учебных дисциплин, вызванное, в частности, как увеличением доли учебных дисциплин, так и структурной перестройкой учебно-методических советов факультетов в профессиональные коллегии УМС университета. Новый «Регламент подготовки, согласования и утверждения программ учебных дисциплин» был рассмотрен и утвержден УС НИУ ВШЭ 13.05.2013 г. Он отражает разные ступени согласования для базовых (обязательных) дисциплин и дисциплин по выбору (элективов, факультативов), закрепляет более четко личную ответственность преподавателя за размещение программы дисциплины в открытом доступе, разводит требования технической экспертизы (осуществляется ответственным от подразделения) и содержательной экспертизы (осуществляется кафедрой/департаментом, профессиональной коллегией УМС) программ, тем самым изменяя статус «авторской версии» (она обязательно проходит первичную проверку). Регламент предполагает учет разных вариантов согласования ПУД в разных кампусах НИУ ВШЭ (в соответствии с их организационной спецификой).
В течение 2012/2013 учебного года велась работа по созданию «Модуля ПУД» в системе LMS, который бы позволил автоматизировать процесс формирования ПУД (для преподавателя) и процесс прохождения всех этапов согласования ПУД. К концу учебного года модуль работал в тестовом режиме, но к сожалению, разработчик данного программного обеспечения не смог ввести его в промышленную эксплуатацию (модуль не выдерживал нагрузок по одновременному входу большого числа пользователей). Судьба доработки модуля, непосредственно связанная с решением вопроса о сохранении программной платформы LMS, сейчас находится в стадии согласования. В то же время была проведена обучающая и разъяснительная работа с ответственными от подразделений, и сейчас идет отработка положений нового Регламента в неавтоматизированном режиме.
Большая работа, которая проводилась факультетами по анализу программ учебных дисциплин с точки зрения формирования компетенций, заявленных в образовательных стандартах, в рамках данного отчета подробно рассмотрена в п. 4.1. Отметим здесь только, что этот анализ выявил, в частности, необходимость продолжения разъяснительной и обучающей работы среди преподавателей по выбору и описанию формируемых дисциплиной образовательных результатов.
Таблица ниже приводит сводную информацию о размещении программ учебных дисциплин на сайтах НИУ ВШЭ (Москва) и филиалов по состоянию на конец 2010/2011, 2011/2012 и 2012/2013 учебного года, которая показывает значительное увеличение процента размещенных в открытом доступе на портале НИУ ВШЭ программ учебных дисциплин.
Учебные годы
|
Показатель5
|
Москва
|
Нижний Новгород
|
Пермь
|
Санкт-Петербург
|
2010/2011
|
Размещено программ
|
3268
|
840
|
232
|
835
|
от общ. количества дисциплин, %
|
82
|
89,4
|
92
|
96,3
|
2011/2012
|
Размещено программ
|
6181
|
959
|
365
|
952
|
от общ. количества дисциплин, %
|
66,5
|
79,5,
|
94
|
91,6
|
2012/2013
|
Размещено программ
|
8895
|
1235
|
917
|
1142
|
от общ. количества дисциплин, %
|
82,9
|
100
|
100
|
97
|
По состоянию на начало 2013/2014 учебного года в НИУ ВШЭ (Москва, МИЭМ) размещено 8895 программ учебных дисциплин, что составляет 82,9% от общего числа дисциплин в соответствии с утвержденными рабочими учебными планами на 2013/2014 учебный год.
В Приложении к отчету № 5 представлена динамика размещения программ учебных дисциплин за 2010/2011-2012/2013 учебные годы на сайтах филиалов университета.
Отдельным предметом анализа в 2012-2013 уч. году стало размещение и качество программ дисциплин, читаемых на английском языке.
Факультет
|
3-4 модуль 2012-2013 уч. года
|
1-2 модуль 2013-2014 уч. года
|
Количество дисциплин6
|
Количество программ/ аннотаций
|
Количество дисциплин
|
Количество программ/ аннотаций
|
Банковский институт
|
2
|
0
|
11
|
11
|
Бизнес-информатики
|
0
|
0
|
10
|
3
|
Факультет государственного и муниципального управления
|
4
|
2
|
1
|
1
|
Институт демографии
|
0
|
0
|
2
|
0
|
Институт менеджмента инноваций
|
0
|
0
|
1
|
0
|
Институт образования
|
0
|
0
|
1
|
1
|
Истории
|
0
|
0
|
2
|
0
|
Кафедра публичной политики
|
5
|
5
|
26
|
26
|
Факультет логистики
|
1
|
1
|
1
|
1
|
Факультет математики
|
11
|
1
|
46
|
0
|
МИЭФ
|
9
|
0
|
41
|
41
|
Факультет мировой экономики и мировой политики
|
4
|
0
|
39
|
35
|
Отделение востоковедения
|
11
|
10
|
16
|
16
|
Отделение интегрированных коммуникаций
|
0
|
0
|
1
|
0
|
Отделение культурологии
|
0
|
0
|
2
|
0
|
Отделение прикладной математики и информатики
|
1
|
0
|
1
|
0
|
Отделение программной инженерии
|
4
|
3
|
61
|
6
|
Отделение статистики, анализа данных и демографии
|
0
|
0
|
13
|
0
|
Факультет медиакоммуникаций
|
3
|
1
|
1
|
0
|
Факультет менеджмента
|
18
|
8
|
8
|
8
|
Факультет права
|
4
|
4
|
16
|
1
|
Факультет прикладной политологии
|
0
|
0
|
7
|
6
|
Факультет психологии
|
3
|
2
|
1
|
1
|
Факультет социологии
|
15
|
1
|
12
|
5
|
Факультет филологии
|
2
|
1
|
12
|
1
|
Факультет философии
|
1
|
0
|
2
|
2
|
Факультет экономики
|
5
|
0
|
23
|
6
|
Общий итог
|
103
|
39
|
357
|
171
|
Данные в таблице показывают, что ситуация с предоставлением программ отчасти исправляется, однако далека от идеальной – в целом по кампусу процент обеспеченности программами в общей точке доступа вырос от 38% до 47,9% и составляет менее половины (с учетом возросшего числа англоязычных дисциплин осеннего семестра по сравнению с весенним). Стоит особо отметить, что в качестве программ учитывались как полнотекстовые версии, содержащие всю необходимую студентам информацию, так и краткие аннотации, позволяющие сделать первоначальный выбор. Новый регламент создания, размещения и хранения ПУД предполагает для англоязычных дисциплин создание программ как минимум за полгода до начала времени их реализации (для предоставления потенциальным внешним студентам). В задачи следующего года входит разработка полностью англоязычной версии РУПов и базовых учебных планов, а также обеспечение краткими аннотациями 100% предлагаемых на английском языке программ дисциплин.
|
