|
Национальный исследовательский университет «Высшая школа экономики»
Программа дисциплины «Экономико-математическое моделирование»
для направления 38.04.05 «Бизнес-информатика» подготовки магистра
|
Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение высшего профессионального образования
«Национальный исследовательский университет
«Высшая школа экономики»
Факультет бизнес-информатики
Программа дисциплины
«Перспективные методы анализа данных и большие данные в
бизнес-интеллекте»
для направления 38.04.05 «Бизнес-информатика» подготовки магистра для магистерской программы Системы больших данных
Авторы программы:
Марков Н.В., nikolay.markoff@gmail.com
Одобрена на заседании кафедры
информации и бизнеса в сфере информационных технологий «____»____________ 2014 г.
Зав. кафедрой Мальцева С.В. _____________________
Рекомендована секцией УМС «Бизнес-информатика» «____»____________ 2014 г.
Председатель Таратухина Ю.В. ____________________
Москва, 2014
Настоящая программа не может быть использована другими подразделениями университета и другими вузами без разрешения кафедры – разработчика программы.
1.Область применения и нормативные ссылки
Настоящая программа учебной дисциплины устанавливает минимальные требования к знаниям и умениям студента и определяет содержание и виды учебных занятий и отчетности.
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 38.04.05 «Бизнес-информатика» подготовки магистра, обучающихся по магистерской программе «Системы больших данных».
Программа разработана в соответствии с:
рабочим учебным планом университета по направлению 38.04.05 «Бизнес-информатика» подготовки магистра для магистерской программы «Big Data Systems», утвержденным в 2014 г.
2.Цели освоения дисциплины
Формирование теоретических знаний, умений и практических навыков сбора, хранения, обработки и анализа больших данных.
Выработка умений и практических навыков анализа больших данных, обеспечивающих решение широкого круга задач, в том числе, анализ корпоративных данных, финансовых данных, поступающих из информационных хранилищ мировых рынков, построение моделей хранения и обработки данных, прогнозирование комплексных показателей.
3.Компетенции обучающегося, формируемые в результате освоения дисциплины
В результате освоения дисциплины студент должен:
Знать теорию и основы хранения, обработки и анализа больших данных, современные программные средства сбора, хранения, передачи и визуализации больших данных.
Уметь обрабатывать и анализировать большие объемы данных с помощью современных программных пакетов IBM InfoSphere.
Иметь навыки использования нейросетевых и нечетких моделей для сжатия, обработки и анализа больших данных, а также их дальнейшего эффективного использования.
В результате освоения дисциплины студент приобретает следующие компетенции:
Компетенция
|
Код по ФГОС/ НИУ
|
Дескрипторы – основные признаки освоения (показатели достижения результата)
|
Формы и методы обучения, способствующие формированию и развитию компетенции
|
Способность предлагать концепции, модели, изобретать и апробировать способы и инструменты профессиональной деятельности
|
СК-2
|
Демонстрирует
|
Лекции, практические занятия, выполнение домашних заданий
|
Способность применять методы системного анализа и моделирования с целью оценки и проектирования
|
ПК-13
|
Владеет и применяет
|
Лекции, практические занятия, выполнение домашних заданий
|
Способность разрабатывать и применять математические модели для обоснования проектных решений в сфере ИКТ
|
ПК-14
|
Владеет и применяет
|
Лекции, практические занятия, выполнение домашних заданий
|
Способность организовать самостоятельную и коллективную научно-исследовательскую работу на предприятии и управлять ею
|
ПК-16
|
Демонстрирует
|
Лекции, практические занятия, выполнение домашних заданий
|
4.Место дисциплины в структуре образовательной программы
В рамках магистерской программы «Big Data Systems» настоящая дисциплина является обязательной дисциплиной.
Для освоения учебной дисциплины, студенты должны:
владеть содержанием дисциплин: численные методы, методы оптимизации, анализ данных, дискретная математика, теоретические основы информатики, вычислительные системы, сети, телекоммуникации, информационные системы управления производственной компанией.
уметь использовать математические и IT-средства для решения задач управления.
Основные положения дисциплины должны быть использованы в дальнейшем при изучении дисциплины «Pазработка и внедрение систем больших данных».
5.Тематический план учебной дисциплины
№
|
Название раздела
|
Всего часов
|
Аудиторные часы
|
Самостоятельная работа
|
Лекции
|
Семинары
|
Практич занятия
|
1
|
Введение в анализ и управление большими данными
|
|
2
|
|
2
|
7
|
2
|
Управление данными
|
|
2
|
|
2
|
7
|
3
|
Модели распределенных файловых систем и вычисления на основе баз данных
|
|
4
|
|
4
|
7
|
4
|
Поиск подобий в данных
|
|
2
|
|
2
|
8
|
5
|
Анализ потоковых данных
|
|
2
|
|
2
|
8
|
6
|
Анализ связей
|
|
2
|
|
2
|
8
|
7
|
Анализ частых наборов данных
|
|
4
|
|
4
|
8
|
8
|
Алгоритмы кластеризации и их приложения
|
|
4
|
|
4
|
8
|
9
|
Нейронные сети и их приложения
|
|
4
|
|
4
|
8
|
10
|
Сетевые аналитические модели
|
|
2
|
|
2
|
8
|
11
|
Системы поддержки принятия решений
|
|
2
|
|
2
|
7
|
12
|
Анализ социально-сетевых графов
|
|
4
|
|
4
|
8
|
13
|
Снижение размерности данных
|
|
2
|
|
2
|
7
|
14
|
Машинное обучение большими данными
|
|
2
|
|
2
|
7
|
|
ИТОГО
|
180
|
38
|
|
38
|
106
| 6.Формы контроля знаний студентов
Тип контроля
|
Форма контроля
|
1 год
|
Параметры
|
1
|
2
|
|
Текущий
(неделя)
|
Реферат
|
1
|
|
Объем 25-30 стр., оценка результатов – 2 недели
|
Итоговый
(неделя)
|
Экзамен
|
1
|
|
Устный экзамен, 20 минут на студента
|
6.1 Критерии оценки знаний, навыков
Студент должен продемонстрировать знание разделов дисциплины и способность представить результаты выполнения домашних заданий и контрольной работы в соответствии с требуемыми компетенциями.
Оценки по всем формам текущего контроля выставляются по 10-ти балльной шкале.
Итоговая оценка О по учебной дисциплине складывается из оценок за:
работу на практических занятиях – О1,
контрольная работа – О2,
ответа на зачете – О3,
по формуле: О = 0,2 *О1+ 0,4 *О2 + О3 *0,4
7.Содержание программы
Тема 1. Введение в анализ и управление большими данными.
Что такое большие данные? Характеристика больших данных. Большие данные как одна из глобальных проблем современности.
Анализ данных, основные принципы и методы. Статистическое моделирование и моделирование, основанное на машинном обучении. Принцип Бонферрони. Хэш функции и индексы. Основа натуральных алгоритмов.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 2. Управление данными
Основы управления данными. Этапы работы с данными: сбор, сжатие, хранение, обработка, анализ. Принципы хранения и управления данными. Методы сжатия данных.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 3. Модели распределенных файловых систем и вычисления на основе баз данных.
Распределенные файловые системы. Физическая организация вычислительных узлов. Подход MapReduce: Map-задачи, Reduce-задачи. Алгоритмы, использующие MapReduce и их приложения. Матрично-векторное умножение, операции реляционной алгебры, операции на базах данных, группировка и агрегирование.
Расширения для MapReduce. Поточные системы. Коммуникативные стоимостные модели. Теория комплексности для MapReduce: снижение размерности и графовые модели.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 4. Поиск подобий в данных
Приложения поиска типа Near-Neighbor. Подобия Джакара в данных. Подобие в информации. Совместная фильтрация.
Расщепление документов. k-расщепление: выбор размерности расщепления, хэширование, построение расщепления из слов.
LSH – хэширование. Меры расстояний. Евклидово расстояние, расстояние Джакара, косинусное расстояние. LS – функции. LSH – семейства и их приложения.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 5. Анализ потоковых данных.
Поточная модель данных. Системы управления поточными данными. Дискретизация поточных данных. Фильтрующие потоки. Алгоритм Флажолет-Мартина. Алгоритм Алона-Матиаса-Жегеди. Алгоритм Датара-Гиониса-Индика-Мотвани (DGIM).
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 6. Анализ связей.
Алгоритм PageRank. Двигатель раннего поиска, структура сети. Матрицы перевода. Итерации PageRank с использованием MapReduce.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 7. Анализ частых наборов данных.
Определение и приложения частых наборов данных. Модель рыночной корзины. Правила ассоциации. Априорный алгоритм. Монотонность данных. Хранение больших данных в памяти. Алгоритм Парк-Чен-Ю. Многоуровневый алгоритм. Мультихэш-алгоритм. Алгоритмы ограниченного доступа. Алгоритм Савасере-Омичински-Навата. Алгоритм Тойвонена. Подсчет частых наборов данных: дискретизация, гибридные методы.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 8. Алгоритмы кластеризации и их приложения.
Введение в алгоритмы кластеризации: точки, пространства, расстояния. Стратегии кластеризации. Иерархическая кластеризация в евклидовом и неевклидовом пространствах, ее эффективность. Алгоритмы k-средних. Алгоритм Бредли-Файад-Рейна (BFR). Алгоритм CURE. Кластерное дерево. Алгоритм GRGPF. Применение алгоритмов кластеризации при поточных и параллельных вычислениях.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 9. Нейронные сети и их приложения.
Определение, структура и типология нейронных сетей. Карты Кохонена. Нейронные сети обратного распределения. Приложения нейронных сетей в экономике, логистике, IT-сфере.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Heaton C. Introduction to the Math of Neural Networks. Heaton Research, 2010.
Тема 10. Сетевые аналитические модели.
Алгоритмы онлайн и оффлайн. Жадные алгоритмы. Конкурентные соотношения. Задача о совпадениях. Алгоритм баланса и обобщенный алгоритм баланса.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 11. Системы поддержки принятия решений
Модель системы поддержки принятия решений. Матрица полезности. Принятие решений, основанных на содержании данных. Идентификация свойств и параметров данных. Совместная фильтрация. Измерение идентичности. Снижение размерности. UV – декомпозиция. Среднеквадратическое отклонение.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Тема 12. Анализ социально-сетевых графов
Что такое социальная сеть? Социальные сети как графы. Типы социальных сетей. Кластеризация социально-сетевых графов, расстояния в графах. Алгоритм Гирвана-Ньюмана. Двудольные графы и подграфы. Алгоритм максимального правдоподобия.
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
8.Литература
Основная литература
Minelli M., Chambers M., Dhiraj A. Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses. John Wiley & Sons, 2012
Ye N. The Handbook of Data Mining. Lawrence Erlbaum Associates, 2003
Leskovec J., Rajaraman A., Jeffrey D. Ullman. Mining of Massive Datasets. Stanford University, 2010
Дополнительная литература
Eaton C., Deutsch T., Deroos D., Lapis G., Zikopoulos P. Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data
Heaton C. Introduction to the Math of Neural Networks. Heaton Research, 2010.
9.Вопросы для контроля знаний
Большие данные. Проблема больших данных в современных условиях.
Управление данными. Методы сбора и подготовки данных. Принципы хранения и управления данными.
Модели распределенных файловых систем. Файловая система Google и Hadoop.
MapReduce. Парадигма, суть, структура.
Поиск подобий. Подобия Джакара. Расщепление. LSH – хеширование.
Поточная модель данныхАлгоритм Флажолет-Мартина. Алгоритм Алона-Матиаса-Жегеди. Алгоритм Датара-Гиониса-Индика-Мотвани (DGIM).
Анализ связей. Page Rank.
Определение и приложения частых наборов данных. Модель рыночной корзины. Правила ассоциации. Априорный алгоритм.
Определение и приложения частых наборов данных. Монотонность данных. Хранение больших данных в памяти. Алгоритм Парк-Чен-Ю. Многоуровневый алгоритм.
Определение и приложения частых наборов данных. Многоуровневый алгоритм. Мультихэш-алгоритм. Алгоритмы ограниченного доступа. Алгоритм Савасере-Омичински-Навата. Алгоритм Тойвонена. Подсчет частых наборов данных: дискретизация, гибридные методы.
Алгоритмы кластеризации. Стратегии кластеризации. Иерархическая кластеризация в евклидовом и неевклидовом пространствах, ее эффективность. Алгоритмы k-средних.
Алгоритм Бредли-Файад-Рейна (BFR). Алгоритм CURE. Кластерное дерево. Алгоритм GRGPF. Применение алгоритмов кластеризации при поточных и параллельных вычислениях.
Определение, структура и типология нейронных сетей. Карты Кохонена. Нейронные сети обратного распределения. Приложения нейронных сетей в экономике, логистике, IT-сфере.
Алгоритмы онлайн и оффлайн. Жадные алгоритмы. Конкурентные соотношения. Задача о совпадениях. Алгоритм баланса и обобщенный алгоритм баланса.
Модель системы поддержки принятия решений. Матрица полезности. Совместная фильтрация. Измерение идентичности. UV – декомпозиция. Среднеквадратическое отклонение.
Что такое социальная сеть? Социальные сети как графы. Типы социальных сетей. Кластеризация социально-сетевых графов, расстояния в графах. Алгоритм Гирвана-Ньюмана. Алгоритм максимального правдоподобия.
Разработчики:
НИУ-ВШЭ________ _______преподаватель________ _____Н.В. Марков
(место работы) (занимаемая должность) (инициалы, фамилия)
|
