3.4. Комплексное тестирование
Для проведения комплексного тестирования создана модель данных на основе реальных значений из LMS, полученных в процессе синхронизации, и на основе методической информации из учебных планов, относительно часов, системы контроля, наличия курсового проекта. Далее в таблицах 3.1-3.3 перечислены основные данные, которые были использованы в модели.
Таблица 3.5. Комплексное тестирование. Информация по курсам
-
Курс
|
Лекции
|
Часы семинаров
|
Часы лабораторных работ
|
Часы самостоятельной работы
|
Наличие курсового проекта
|
Наличие экзамена
| |
Компьютерная графика
|
34
|
0
|
34
|
125
|
+
|
+
|
Микропроцессоры
|
34
|
34
|
34
|
85
|
+
|
+
|
Операционные системы
|
34
|
17
|
17
|
108
|
+
|
+
|
Программирование на ЯВУ
|
68
|
34
|
34
|
80
|
+
|
+
|
Сети ЭВМ и средства телекоммуникаций
|
34
|
0
|
34
|
104
|
+
|
-
|
Схемотехника
|
68
|
17
|
17
|
81
|
+
|
+
|
Технологии программирования
|
34
|
17
|
34
|
85
|
-
|
+
|
Таблица 3.6. Комплексное тестирование. Информация по компетенциям
-
Курс
|
Компетенция
|
Доля в курсе
|
Полнота изучения навыка в курсе
| |
Технологии программирования
|
Методологии разработки ПО
|
10
|
70
|
Технологии программирования
|
Выявление требований
|
30
|
50
|
Технологии программирования
|
Парадигмы программирования
|
20
|
30
|
Технологии программирования
|
Паттерны
|
20
|
70
|
Технологии программирования
|
Тестирование ПО
|
20
|
30
|
Технологии программирования
|
Проектирование интерфейсов
|
10
|
50
|
Операционные системы
|
ОС GNU/Linux
|
60
|
75
|
Операционные системы
|
Разработка сценариев оболочки
|
40
|
40
|
Компьютерная графика
|
Работа с растровой графикой
|
40
|
60
|
Компьютерная графика
|
Работа с векторной графикой
|
40
|
60
|
Компьютенрая графика
|
Верстка
|
20
|
50
|
Программирование на ЯВУ
|
Программирование на С/C++
|
100
|
100
|
Схемотехника
|
Проектирование аналоговых и цифровых устройств
|
100
|
40
|
Микропроцессоры
|
Программирование на asm
|
100
|
50
|
Сети ЭВМ и средства телекоммуникаций
|
Средства проектирования ЛВС
|
50
|
70
|
Сети ЭВМ и средства телекоммуникаций
|
Администрирование сетей
|
50
|
70
|
Таблица 3.7. Комплексное тестирование. Информация по профессиям
-
Профессия
|
Компетенция
|
Важность компетенции
| |
Аналитик
|
Методологии разработки ПО
|
30
|
|
Выявление требований
|
70
|
Дизайнер
|
Работа с растровой графикой
|
40
|
|
Работа с векторной графикой
|
20
|
|
Верстка
|
40
|
Инженер-электроник
|
Проектирование аналоговых и цифровых устройств
|
80
|
|
Программирование на asm
|
20
|
Программист
|
Парадигмы программирования
|
20
|
|
Паттерны
|
10
|
|
Программирование на С/C++
|
70
|
Тестировщик ПО
|
Тестирование ПО
|
100
|
Системный администратор
|
ОC GNU/Linux
|
40
|
|
Администрирование сетей
|
20
|
|
Разработка сценариев оболочки
|
40
|
Таблицы компетенций и профессий, заполнялись исходя из реальной программы выбранных курсов и исходя из перечня наиболее популярных должностей, которые занимают выпускники по специальности "Вычислительные машины, комплексы, системы и сети". В рамках данного комплексного тестирования не стояла задача использовать все профессии, относящиеся к данной специальности, не стояло и задачи подобрать однозначные коэффициенты влияния курсов на компетенции, важности компетенции для профессий и т.п. Стояла задача показать работу систему с полноценным набором данных и в самом первом приближении проверить эффективность разработанной модели. Для этого к тестированию системы были привлечены студенты выпускники МИЭМ и МИФИ по соотвествующей специальности, в количестве 10 человек, которые использовали систему автоматизированного создания резюме и оценивали эффективность ее работы. Такое тестирование имело смысл проводить среди выпускников, так как среди них уже априори больше людей, имеющих постоянное место работы по некоторой специальности или, по меньшей мере, у них есть четкое понимание того, какой именно деятельностью они хотели бы заниматься на протяжении своей карьеры. По ходу работы с системой выпускники вводили свои итоговые оценки по внесенным в базу курсам, для некоторых из них (тех, кто проходил обучение в МИЭМ на кафедре ИКТ) средние оценки были импортированы из базы данных LMS. По результатам работы системы и опроса принимающих участия выпускников можно констатировать следующее: из принимавших участие в тестировании выпускников
5 - работают программированием;
2 - занимаются администрированием;
1 - работает 3D дизайнером;
1 - занимается цифровой схемотехникой;
1 - занимается менеджментом;
У 7 (четырех программистов, по одному администратору, схемотехнику, дизайнеру) из 10 проходивших тестирование текущая профессия совпадает с рекомендацией системы автоматизированного создания резюме, у 2 (программист и администратор) текущая профессия находится в тройке рекомендуемых;
на вопрос о том, соответствуют ли, в целом, выданные системой значения компетенций их собственным представлениям о своих навыках и умениях, 9 из 10 ответили утвердительно и лишь один пользователь выразил недоверие полученным значениям.
Таким образом, по результатам комплексного тестирования можно сделать следующие выводы: масштабы проведенных тестов и выборка пользователей не позволяет сделать однозначный вывод о полном успехе разработанной модели. Выбранные для тестирования коэффициенты нуждаются в тонкой настройке, в которой должны принимать участие методисты, преподаватели и сами пользователи системы. Тем не менее, показанный результат довольно точно отражает реальную ситуацию, а, следовательно, дает основания для дальнейшего развития системы.
Для отладки программного обеспечения использовались следующие средства:
Консоль отладки в браузере, реализованная во фреймворке Django - позволяет понять природу возникающих ошибок, и точки исходных кодов, которые к этим ошибками привели;
Стандартные операторы языка программирования Python, позволяющие вывести в консоль значения переменных;
Инструментарий среды разработки Geany;
|
