 РАЗРАБОТКА РЕКОМЕНДАЦИЙ ПО ИСПОЛЬЗОВАНИЮ электронного учебного пособия
3.1. Оценка экономической эффективности
Эффективность создания и внедрения электронного учебного пособия по изучению Visual Basic должна определяться на основе сравнения с базовым вариантом. В данном случае за базовый вариант принимаем обычное обучение предмету.
Главным при разработке программного обеспечения для обучения является обеспечение максимальной экономической эффективности, т.е. обучение предмета с минимальными затратами труда времени и денежных средств.
Конечной целью использования разработанной системы будет автоматизация ведения обучения. Источниками экономии при этом являются увеличение объёмов и сокращение сроков передачи информации.
Решение представляет собой не просто набор разрозненных устройств, а единый комплекс, что обеспечивает удобное его использование преподавателями с различным уровнем технической грамотности.
Для снижения стоимости комплекса ряд функций системы управления возложен на универсальную документ-камеру, функциональные возможности которой позволяют осуществлять коммутацию и преобразование аудио- и видеосигналов. В качестве терминала управления используется сенсорный дисплей или компьютер преподавателя.
В состав решения может входить специальный проектор с особо коротким проекционным расстоянием и объективом на основе параболического зеркала, в результате чего достигается практически полное отсутствие теней на интерактивной доске.
Интерактивная доска имеет антивандальную конструкцию, отсутствует необходимость в использовании специального пера. Инфракрасная технология доски позволяет работать любым предметом, в том числе пальцем руки.
При использовании короткофокусного проектора в системе реализована функция изменения высоты установки интерактивной доски, что может быть необходимо при работе пользователей различного роста и возраста. Регулировка может быть реализована как в ручном, так и в автоматизированном режиме.
Включение и выключение комплекса может осуществляться с помощью нажатия одной кнопки, что обеспечивает комфортную работу с ним преподавателей любого возраста.
Основная часть оборудования для обеспечения его сохранности и удобства использования может быть размещена в специализированный антивандальный стол-сейф.
Эффекты от внедрения
Повышение интерактивности, наглядности и привлекательности учебного процесса
Использование передовых методов преподавания в учебном процессе
Повышение качества подготовки учеников
Ускорение процесса освоения учебных материалов и возможность вырабатывания лучших практик преподавания
Повышение привлекательности учебного заведения для учеников и студентов
Обобщая, вышесказанное можно сказать что оценивать качество образования и качество образовательной технологии следует с учетом произведенных затрат. При применении одной и той же технологии на различных обучаемых мы неизбежно получим различные результаты. Вместе с тем, из практики известно, что ряд технологий, позволяет получать стабильно высокий результат с малым процентом неудач. Основная идея статистического метода оценки может быть заимствована из теории тестирования. Каждый тест имеет ряд характеристик, рассчитываемых на основе результатов его прохождения. Количественное выражение этих характеристик позволяет сравнивать тесты между собой и устанавливать отношения "лучше - хуже". Рассмотрение количественных характеристик тестов имеет смысл только при указании входной выборки - то есть подробного описания контингента тестируемых, а также при указании цели теста. Устанавливать отношения типа "лучше-хуже" для тестов, направленных на различные объекты тестирования не имеет смысла. По аналогии с классической теорией тестирования предлагается выдвинуть ряд показателей качества для ЭУП в целом, а также для отдельных элементов пособия. Минимальной единицей считается электронный урок. Знания о последовательности проведения уроков, обеспечивающие оптимальное обучение образуют электронный авторский курс (ЭАК). Электронным учебным пособием считается совокупность базы знаний (ЭАК), элементов предъявления (электронных уроков, которые могут быть реализованы отдельными программами) и технических модулей, обеспечивающих функционирование программной системы. Логика такого разделения состоит в следующем: каждая минимальная единица учебного пособия служит достижению определенной учебной подцели, которую невозможно или нецелесообразно декомпозировать. Электронное представление этой информационной единицы может быть удачным или не удачным, интуитивно понятным или чрезмерно сложным. К настоящему моменту существуют целые педагогические теории, посвященные тому, как должна выглядеть минимальная единица представления информации при обучении на компьютере. Часто они направлены на выяснение размеров, цвета, положения на экране символов и графики. Теории такого рода указывают на то, что то или иное цветовое сочетание, абстракции и т.п. положительно или отрицательно воздействуют а психику обучаемого и поэтому их лучше применять или не применять. Практика показывает, что безусловно это направление отрицать нельзя, но оценивать качество исходя только из подобных соображений неверно. Дело в том, что в зависимости от текущего психофизиологического состояния, различных обучаемые будут реагировать на стимулы по-разному. Поэтому конкретная реализация элемента предъявления информации должна строится на основе разработанных ранее психологических и педагогических теорий, а его оценка на основе статистики применения на четко заданной выборке. Таким образом, обобщая, можно сказать, что показатели качества электронного урока дают объективное представление о его удачности, в то время как показатели качества электронного курса в целом - о соответствии подобной структуры знаний заявленным целям обучения. В качестве основных показателей качества электронного учебного пособия в целом предлагается использовать следующие характеристики:
1. Валидность
2. Надежность
3. Трудность
4. Экономичность и избыточность
5. Интегрированность
6. Практичность
Валидность учебника - способность учебника соответствовать заявленным целям обучения. Необходимо различать несколько видов валидности
Таблица 1. Виды валидности ЭУП
Вид валидности
|
Что характеризует
|
Способ определения
|
Содержательная
|
соответствие содержимого учебника заявленным целям обучения
|
Оценивается предметными специалистами экспертно
|
Очевидная
|
валидность с точки зрения обучаемого
|
Оценивается обучаемыми экспертно
|
Сопоставительная
|
Способность учебника обучать
|
Отношение среднего значения результатов тестирования к модельному среднему значению (с учетом шкалы измерения)
|
Валидность ЭУП необходимо рассматривать с учетом произведенных при обучении затрат. Надежность - способность учебника показывать одинаково стабильные результаты при применении на нескольких, но примерно одинаковых выборках. Способность учебника мало менять свою стабильность при применении на различных выборках. Надежность можно определить как вероятность того, что средние результаты обучения отклоняться от идеальных не более чем на заданную величину. Трудность характеризует затраты на обучение по данному учебнику. Очевидно, что данный критерий многомерный. Свертка в один затруднена или невозможна. К основным затратным статьям следует отнести: материальные, временные, физические и умственные. Экономичность учебника - способность достигать поставленных целей за минимальное число шагов. Характеризуется распределением числа шагов, необходимых для достижения поставленных целей в разных выборках. Избыточность учебника - мера наличия в учебнике такой информации, овладение которой прямо не служит достижению поставленных целей обучения. Интегрированность учебника - степень его интеграции с другими учебниками. Степень зависимости результатов обучения по данному ЭУП от применения или не применения какого-либо другого учебника. Определяется через соответствующий коэффициент корреляции. Практичность учебника. Оценивается преподавателями и обучаемыми экспертно. Для объективности результатов опроса возможно применение критерия знаков. Для оценки качества уроков в учебнике предлагаются следующие характеристики:
1. Валидность урока
2. Трудность
3. Связность
4. Избыточность
5. Необходимость
Валидность и трудность для урока имеют смысл аналогичный валидности и трудности учебного пособия в целом. Связность урока характеризует меру его зависимости от других уроков, т.е. влияние усвоения одного урока на способность усвоить другой. Для тестов значимая корреляция между заданиями - это плохо. Для уроков, решение этого вопроса не однозначно. Для учебника связность информационных единиц - хорошо, а для справочника - плохо. Связность удобно представлять матрицей парных корреляций. Избыточность урока - мера информации, содержащейся в уроке, но не служащей прямо достижению учебных целей. Избыточная информация - это та, добавление которой уже не приводит к росту оценки по тесту. Часто урок получается избыточным при попытке достичь несколько разнородных целей, предъявить несколько не связанных единой целью информационных единиц: например грамматику и страноведческую информацию или наличие материала (картинки например) вообще без четкой цели. Избыточность можно оценить через средние характеристики (время внимания и т.п.). Смысл характеристики "необходимость урока" поясним примером. Если урок вообще исключить из ЭУП, то каков будет результат по данной учебной цели, не обучится ли слушатель как-нибудь на других уроках (для этого специально не предназначенных). Общий алгоритм оценки ЭУП может быть представлен следующими этапами:
1. Проведение предварительного тестирования
2. Обучение по ЭУП
3. Проведение заключительного тестирования
4. Определение показателей качества ЭУП
4.1. Внешняя валидность
4.2. Очевидная валидность
4.3. Сопоставительная валидность
4.3.1. Определение вида и параметров распределения выходных результатов
4.3.2. Определение вида и параметров распределения модельных результатов
4.3.3. Расчет валидности
4.4. Надежность
4.5. Трудность
4.6. Экономичность
4.7. Интегрированность
4.8. Практичность
Фиксация результатов в паспорте ЭУП
Пример оценки качества ЭУП Рассмотрим расчет основных характеристик качества на примере. В 2003г на кафедре ИСЭ было создано ЭУП "Вкладные операции". Пособие узко специализировано и предназначено для обучения контролеров-кассиров Казбанка. Учебной целью является знание одной из служебных инструкций и умение ее применять. Пособие рассчитано на недельный курс самообучения. По желанию обучаемого текст пособия (около 100 с.) может быть распечатан. Считается, что эффективность обучения должна составлять не менее 68%, а разброс средних результатов обучения не превышает 10%. Методика применения пособия подразумевает входной и заключительный контроль, результаты нормированы в интервал [0..1] и представлены в таблице 2. Пороговое значение 0.5. Объем позволяет привести только небольшую часть выборки (10 случаев). Все приведенные выкладки могут быть распространены на большее число случаев.
Таблица 2. Результаты контроля при использовании ЭУП "Вкладные операции"
№
|
Заключительный контроль
|
|
Фамилия
|
Результат
|
1.
|
Ананина
|
0,759
|
2.
|
Петрова
|
0,804
|
3.
|
Исмаилова
|
0,801
|
4.
|
Савина
|
0,756
|
5.
|
Пронина
|
0,728
|
6.
|
Сухматдинова
|
0,707
|
7.
|
Фен
|
0,747
|
8.
|
Килова
|
0,734
|
9.
|
Мусина
|
0,720
|
10.
|
Гранина
|
0,773
|
Итого
|
Среднее
|
0,753
|
Ст. отклонение
|
0,033
|
Таблица 3. Результаты расчета валидности в нескольких испытаниях
№
|
Сопоставительная валидность
|
1.
|
1,0
|
2.
|
0,862
|
3.
|
0,907
|
4.
|
0,938
|
5.
|
0,936
|
Среднее
|
0,929
|
Ст. отклонение
|
0,050
|
Расчет валидности
Измерительную шкалу считаем интервальной. Распределение считаем нормальным, поскольку среднее значение, мода и медиана приблизительно совпадают. Из описания ЭУП можно заключить, что распределение его результатов должно иметь следующие характеристики: нормальное, заключено в интервале [0..1], 68% в интервале [0.5..1], значит s=0.25 (интервал в 2s=1-0.5=0.5), следовательно, среднее значение должно быть 0.75. Валидность учебника: V=1, поскольку (0.753-0.5)/(0.75-0.5)>1. Расчет надежности В процессе разработки ЭУП проводились статистические испытания. Результаты расчета валидности представлены в таблице 3. Валидность распределена нормально вокруг значения 0.929. Стандартное отклонение 0.050. Отклонению средних результатов от идеальных на 10% соответствует варьирование валидности в интервале [0.9..1] . Вероятность, что валидность попадет в этот интервал составляет более 99%. Трудность Согласно приведенным данным трудность ЭУП составила: 40 учебных часов, практически все обучаемые дополнительно работали с текстом инструкции по 30-40 минут в день. Затраты на распечатку составили500 на одного обучаемого. Материал инструкции требует запоминания большого объема частных положений. Текстовая структура ЭУП соответствует инструкции, ни один из уроков не может быть пропущен, поэтому оценивать экономичность не имеет смысла. ЭУП содержит несколько графических изображений и схем, не содержащихся в оригинальном тексте инструкции. Схемы занимают 4 экрана (всего экранов 100). Статистические испытания в процессе разработки показали, что наличие или отсутствие картинок значимо не влияет на результаты обучения, однако существенно влияет на очевидную и внешнюю валидность. Таким образом избыточность можно оценить в 4%. Практика показывает, что небольшая избыточность (до 10%) неизбежна и даже полезна. Программа непрерывной профессиональной подготовки контролеров кассиров включает ряд других ЭУП, применявшихся в разное время на тех же группах. Проведенные расчеты выявили наличие значимой корреляции с результатами обучения по ЭУП "операционно-кассовая работа". Таким образом, можно утверждать, что эти два ЭУП являются интегрированными и возможно, их состав дублирует друг друга. Оценка практичности производилась экспертно. Преподаватели оценили удобство интерфейса, возможность создания твердой копии инструкции. Как существенная проблема для неизбежной модификации назван объем ЭУП. Модификация ЭУП размером более 50 экранов на практике существенно затруднена. Приведенные показатели качества позволяют заполнить соответствующие графы паспорта ЭУП, отобразить ЭУП в многомерном пространстве признаков и установить отношения близости или удаленности с аналогичными ЭУП. Подобная абстракция позволяет практически реализовать библиотеку электронных учебных пособий (в отличие от электронной библиотеки пособий) и в каждом случае выбирать оптимальный учебник.
3.2. Расчет затрат на разработку алгоритма
Затраты на разработку алгоритма определяются по формуле:
Cалг = ЗПразраб * В + От, (7.2)
где ЗПразраб – оклад разработчика (тенге/месяц),
В – время, затраченное на разработку алгоритма (месяцы),
От – отчисления на социальные нужды (%).
ЗПразраб = 8000 тенге/месяц,
^ В = 1 месяц,
От = 26%
Салг =8000 * 1 + 0,26 * (8000 * 1) = 10080 тенге.
Расчет затрат на написание и отладку
программного обеспечения
Затраты на написание и отладку программного обеспечения определяются по формуле:
Сотл = Котл + Фз/п отл (7.3)
где
Котл – стоимость машинного времени, затраченного на отладку программы (тенге),
Фз/п отл – фонд заработной платы программиста на отладку и написание программы.
Стоимость машинного времени, затраченного на отладку программы определяется по формуле:
Котл = tq * Км * q, (7.4)
где
tq – количество часов использования ПЭВМ в месяц (час/месяц),
Км – время потраченное на разработку программного обеспечения (месяцы),
q – стоимость часа машинного времени (тенге/час),
tq = 17 час/месяц,
Км = 1 месяц,
q = 35 тенге/час,
Котл = 17 * 1 * 35 тенге = 595 тенге.
Фонд заработной платы определяется по формуле:
Фз/п отл = Км * ЗПразраб + От (7.5)
где
Км – время потраченное на разработку программного обеспечения (месяцы),
ЗПразраб – оклад программиста (тенге/месяц),
От – отчисления на социальные нужды (%).
Км = 1 месяц,
ЗПразраб = 8000 тенге/месяц,
От = 26%,
Фз/п отл = 1 * 8000 + 0,26 * (1 * 8000) = 10080 тенге.
Сотл = 595 + 10080 = 10675 тенге.
Затраты на внедрение программного обеспечения определяются по формуле:
Свн = Квн + Фз/п вн (7.6)
где
Квн – стоимость машинного времени за время внедрения,
Фз/п вн – фонд заработной платы программиста за время внедрения.
Стоимость машинного времени определятся по формуле:
Квн = k * d * q, (7.7)
где
k – время работы на ПЭВМ в день (час/день),
d – количество дней работы на ПЭВМ (день),
q – стоимость часа машинного времени (тенге/час),
k = 6 час/день,
d = 1 день,
q = 35 тенге/час,
Квн = 6 * 1 * 35 = 210 тенге.
Фонд заработной платы программиста за время внедрения определяется по формуле:
Фз/п вн = ЗПразраб *  + От, (7.8)
где
ЗПразраб – заработная плата программиста, занятого внедрением (тенге/месяц),
d – количество дней работы на ПЭВМ (день),
D – количество рабочих дней в месяц (день),
От – отчисления на социальные нужды (%),
ЗПразраб = 8000 тенге/месяц,
d – 1 день,
D – 17 дней,
От = 26%,
Фз/п вн = 8000 *  + 0,26 = 470 тенге.
Свн = 210 + 470 = 680 тенге.
Расчет общих затрат на разработку и внедрение системы, принятие ТЭР
Затраты на разработку и внедрение системы и принятия ТЭР определяются по формуле:
С = Салг + Сотл +Свн (7.9)
где
Салг – затраты на разработку алгоритма (тенге),
Сотл – затраты на написание и отладку программного обеспечения (тенге),
Свн - затраты на внедрение программного обеспечения;
Салг = 10080 тенге,
Сотл = 10675 тенге,
Свн = 680 тенге
С = 10080 +10675 + 680 = 21435 тенге.
Расчет затрат со стандартными средствами обучения дисциплины «Проектирование автоматизированных систем»
Чтобы определить затраты со стандартными средствами обучение нам необходимо определить:
1. Стоимость учебников по дисциплине «Проектирование автоматизированных систем»;
2. Стоимость разработки тестирующей программы для дисциплины «Проектирование автоматизированных систем»
Стоимость учебников по дисциплине «Проектирование автоматизированных систем» указаны в таблице 7.1. Из книг указанных в таблице мы выбираем наиболее подходящую для условии кафедры “АиЭ” ИТФ ТарГУ им. М.Х. Дулати по цене и по содержанию. Эта книги в стоимостью 605 руб. (3025 тенге).
Для обучения в группе нам в среднем потребуется 7 учебников по 3 экземпляра. Дальше мы определяем стоимость всего комплекта учебников. Он определяется по формуле:
Суч = Уку +Скн (7.10)
|
