Методические указания по практическим занятиям, самостоятельной и индивидуальной работе магистров всех форм обучения Направление

Скачать 194.98 Kb.

Название	Методические указания по практическим занятиям, самостоятельной и индивидуальной работе магистров всех форм обучения Направление
Дата публикации	23.11.2017
Размер	194.98 Kb.
Тип	Методические указания

100-bal.ru > Информатика > Методические указания

Министерство образования и науки Российской Федерации
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ

УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ (ТУСУР)
Кафедра автоматизированных систем управления (АСУ)

РАСПРЕДЕЛЁННЫЕ СЕРВИС-ОРИЕНТИРОВАННЫЕ СИСТЕМЫ

Методические указания по практическим занятиям, самостоятельной и индивидуальной работе магистров всех форм обучения

Направление 09.04.01 Информатика и вычислительная техника

Магистерская программа «Программное обеспечение вычислительных машин, систем и компьютерных сетей»

Томск 2016

Бойченко И.В.

РАСПРЕДЕЛЁННЫЕ СЕРВИС-ОРИЕНТИРОВАННЫЕ СИСТЕМЫ. Методические указания по практическим занятиям, самостоятельной и индивидуальной работе магистров всех форм обучения для направления 09.04.01 «Информатика и вычислительная техника», магистерской программы «Программное обеспечение вычислительных машин, систем и компьютерных сетей» / И.В. Бойченко. – Томск: ТУСУР, 2016. – 36 с.

Методические указания утверждены на заседании кафедры автоматизированных систем управления 12 февраля 2016 г., протокол № 5.

 И.В. Бойченко, 2016
СОДЕРЖАНИЕ

1 1 ВВЕДЕНИЕ 5

2 ТЕХНОЛОГИИ BIG DATA 6

3 УКАЗАНИЯ К ПРАКТИЧЕСКИМ ЗАНЯТИЯМ 7

3.1 Тема №1 Среда разработки IntelliJ IDEA. Язык Java 7 7

3.2 Тема №2 Язык Scala 8

3.3 Тема №3. Технология Apache Spark 13

3.4 Тема №4. Технология Apache Spark + R 18

3.5 Тема №5. Технологии Apache Hive, Hbase 18

4 САМОСТОЯТЕЛЬНАЯ РАБОТА 19

4.1 Установка и настройка среды IDEA, а также SDK для языков Java и Scala 19

4.2 Темы на самостоятельное изучение 35

4.3 Темы рефератов 35

5 УЧЕБНО-МЕТОДИЧЕСКОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ 36

5.1 Основная литература 36

5.2 Дополнительная литература 36

5.3 Базы данных, информационно-справочные и поисковые системы 36

6 МАТЕРИАЛЬНО-ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ 36

1 1 ВВЕДЕНИЕ

Цель изучения дисциплины «Распределённые сервис-ориентированные системы» состоит в формировании знаний умений и навыков в области разработки и эксплуатации программного обеспечения современных высокопроизводительных распределенных систем. В данном курсе рассматриваются программные технологии построения масштабируемых многомашинных информационно-вычислительных систем, обеспечивающих параллельную обработку сверхбольших массивов данных. За рубежом совокупность таких технологий обозначается термином Big Data (англ. - большие данные).

Рассматриваются также типовые методы и алгоритмы параллельной обработки сверхбольших массивов данных с использование стека технологий Big Data.
Задачи изучения дисциплины Распределённые сервис-ориентированные системы»:

1) ознакомление с теоретическими основами организации параллельной распределенной обработки данных на программном уровне;

2) получение опыта практической работы с современными программными инструментами для параллельной распределенной обработки данных.
Дисциплина «Распределённые сервис-ориентированные системы»» относится к обязательным дисциплинам вариативной части структуры основных профессиональных образовательных программ. Для успешного освоения данной дисциплины необходимо и достаточно знаний и умений, приобретенных студентами при изучении на предыдущем уровне образования таких дисциплин, как «Современные средства программирования», «Вычислительные системы», «Современные операционные системы».

Дисциплина является базовой при проведении научно-исследовательской работы магистра, прохождении научно-исследовательской практики, подготовке магистерской диссертации.
В результате изучения дисциплины студент должен

знать:

теоретические основы организации распределенных вычислений;

состав и принципы построения ПО параллельных распределенных вычислений;

методы измерения производительности вычислительных систем;

уметь:

реализовывать параллельные алгоритмы обработки данных на высокоуровневых языках программирования с использованием библиотек;

устанавливать и настраивать окружение распределенных вычислений с использованием современных программных продуктов;

владеть:

средствами выполнения и отладки прикладного ПО для распределенных систем;

средствами профилирования и измерения производительности при решении задач на распределенных вычислительных системах.

2 ТЕХНОЛОГИИ BIG DATA

Big Data (англ. - большие данные) – объединяющее название стека технологий ориентированного на обработку данных, характеризующихся тремя критериями («3V»): объем (Volume), скорость (Velocity) и вариативность (Variety).
Независимо от реализации, в основу технологий Big Data положены два основных принципа:

1. принцип распределенного хранения данных;

2. принцип распределенной обработки, с учетом локальности данных;
Распределенное хранение решает проблему большого объема данных, позволяя организовывать хранилище из произвольного числа отдельных простых носителей, как правило, обычных жестких дисков. Хранение может быть организовано с разной степенью избыточности, обеспечивая устойчивость к сбоям отдельных носителей.
Распределенная обработка с учетом локальности данных означает, что программа обработки доставляется на вычислитель, находящийся как можно ближе к обрабатываемым данным. Это принципиально отличается от традиционного подхода, когда вычислительные мощности и подсистема хранения разделены, и данные должны быть доставлены на вычислитель.
Таким образом, технологии Big Data опираются на вычислительные кластеры из множества вычислителей, снабженных локальной подсистемой хранения. Доступ к данным и их обработка осуществляются специальным программным обеспечением. Наиболее известным и интенсивно развивающимся проектом в области Big Data является Apache Hadoop.

Рис. 1: Стек технологий Big Data Apache (ABDS)

Изначально, в проекте развивались два взаимосвязанных направления: распределенная файловая система HDFS (Hadoop Distributed File System) и система вычислений по методу Map-Reduce. К настоящему времени на базе Apache Hadoop был создан стек продуктов Big Data, получивший название Apache Big Data Stack, или сокращенно ABDS (рисунок 1). В этом стеке насчитывается более 110 проектов различного назначения.

В зависимости от прикладной задачи разработчик приложения может воспользоваться продуктами прикладного уровня, или непосредственно использовать интерфейс окружения времени исполнения. Уровни коммуникаций и управления ресурсами задействуются автоматически.

Курс «Сервис-ориентированные системы» ориентирован на изучение открытого программного обеспечения, входящего в стек технологий ABDS.

Доступность программного обеспечения позволяет слушателям курса самостоятельно устанавливать необходимые инструменты и утилиты и экспериментировать с технологией.
3 УКАЗАНИЯ К ПРАКТИЧЕСКИМ ЗАНЯТИЯМ

Практические занятия проходят в компьютерных классах с предустановленным программным обеспечением:

1. Oracle Java SDK 1.8

2. Scala SDK 2.11.7

3. IntelliJ IDEA 15.0.3 Community Edition

Работа с продуктами стека ABDS планируется на удаленном сервере под ОС Linux с предустановленным ПО:

4. Apache Hadoop

5. Apache Spark

6 Apache R

7. Apache Hive

8. Apache Hbase

9. Apache Tomcat (или Eclipse Jetty)

В ходе практических занятий планируется освоение языков программирования Java и Scala, являющихся основными в стеке ABDS. Затем, планируется освоение инструментальных сред и библиотек, реализующих обработку данных в парадигме Big Data.
3.1 Тема №1 Среда разработки IntelliJ IDEA. Язык Java 7

Цель: ознакомление с современной широко распространенной средой разработки IntelliJ IDEA, а также освоение базовых принципов программирования на языке Java 1.7.

Вопросы, подлежащие рассмотрению:

1. Организация проекта на языке Java в среде IntelliJ IDEA

2. Запуск и исследование примеров, входящих в курс по языку Java 1.7

3. Выполнение заданий, входящих в курс по языку Java 1.7

Планируется, что получив навыки работы со средой IDEA и языком Java студенты смогут самостоятельно к следующему практическому занятию выполнить все задания курса по Java, выданные на этом практическом занятии.

После освоения Java 1.7 на следующих практических занятиях планируется переход к новым функциям в языке Java 1.8, а также к языку Scala.

Рекомендуемая литература:

Курс «Программирование на языке Java 1.7» / Бойченко И.В. - ТУСУР — 2013 — Электронный документ — Режим доступа: <общая сетевая папка>\hpds-2016\text-books\java\java-course\*.pdf

3.2 Тема №2 Язык Scala

Цель: ознакомление с синтаксисом и основными возможностями языка Scala. Освоение инструментального программного обеспечения.

Вопросы подлежащие рассмотрению:

1. Работа в интерактивной среде Scala в ОС Windows

2. Организация работы в среде IDEA на языке Scala

3. Решение задач на освоение синтаксиса и базовых возможностей языка Scala

Рекомендуемая литература:

1. Scala для нетерпеливых / Хорстман К. - М: ДМК Пресс, 2013. - 408с.: ил.
3.2.1 Занятие 1 «Настройка интерактивного режима Scala в ОС Windows»

Предварительно должно быть установлено ПО: IntelliJ IDEA 15.0.3 и Scala SDK 2.7.11. Руководство по установке данных продуктов дано в разделе 3.1.

Настройка интерактивного режима Scala в ОС Windows.

Исходя из опыта эксплуатации языка Java и Python стало очевидно, что возможность работы в интерактивном режиме (REPL – Run Edit Print Loop – англ. Цикл повторяющихся действий в интерактивном режиме «Запуск-редактирование-печать») является очень нужным инструментом в арсенале разработчика. И так как далее планируется освоение Apache Spark, в котором реализован интерактивный режим для языков Scala и Python, то освоение этого режима является необходимым в данном курсе.

Чтобы интерактивную строку можно было использовать необходимо добавить путь до утилиты.

Предположим Scala SDK установлена в каталог:
C:\Program Files (x86)\scala

В
ыберем в ОС Windows – меню Пуск → Компьютер, затем правой кнопкой и в контекстном меню Свойства.

Слева в данном окне выбрать «Дополнительные параметры системы».

В появившемся окне выбрать кнопку «Переменные среды…».

З
атем в списке выбрать переменную PATH и выбрать кнопку «Изменить».

В поле «Значение переменной» нужно ввести путь:
C:\Program Files (x86)\scala\bin

Затем нажать кнопку «OK» на этом и на всех остальных окнах.

После этого запускаем командную строку Windows. Меню Пуск → Выполнить → cmd

В появившемся окне командной строки Windows введем команду:

scala

Если все установлено и прописано верно, появится интерактивная строка Scala

Или в текстовом виде:
Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71). Type in expressions to have them evaluated. Type :help for more information. scala>

Если в настройках допущены ошибки, то может выдаваться сообщение:

C:\Users\saturn>scala

"scala" не является внутренней или внешней

командой, исполняемой программой или пакетным файлом.

В этом случае необходимо перепроверить все пути установки Scala SDK и правильность внесения пути в поле PATH.

Также обязательно надо заново открывать командную строку Windows после каждого изменения переменных окружения. Так как переменные считываются однократно, при запуске строки, то последующие изменения в переменной PATH не будут активными в ранее открытых окнах.

Выход из интерактивного режима осуществляется комбинацией клавиш Ctrl-D или вводом команды (с двоеточием)
:quit

Запуск интерактивного режима Scala в среде IntelliJ IDEA

Выполните действия по созданию нового проекта Scala В среде IDEA как это указано в разделе 3.1, включая создание объекта HelloWorld.

Итак, у нас есть проект с одним объектом Scala:

Кликаем правой кнопкой непосредственно в редакторе HelloWorld и выбираем Run Scala Console.

Внизу откроется интерактивная строка Scala аналогичная строке в Windows.

Интерактивный режим можно вызвать также сочетанием Ctrl+Shift+D.

Закрыть интерактивное окно можно сочетанием Ctrl+Shift+F4.

Интерактивная строка очень удобна для изучения языка и апробации работы небольших фрагментов кода.

Режим Scala в Windows позволяет работать независимо от среды разработки, потребляет меньше памяти и работает немного быстрее.

Но режим Scala в среде IDEA позволяет быстро копировать и исполнять части кода между редактором и интерактивной строкой.

Например, в редакторе можно выделить код объекта HelloWorld и в контекстном меню появится пункт Send Selection To Scala Console (если консоль была до этого уже запущена).

В этом случае код из редактора будет скопирован в консоль Scala и им можно оперировать в дальнейших командах.

Далее, приступаем к изучению синтаксиса языка Scala.

Изучение синтаксиса осуществляется по источнику:

Scala для нетерпеливых / Хорстман К. - М: ДМК Пресс, 2013. - 408с.

На первом занятии требуется выполнить упражнения данные в конце глав 1-4. Главы 5-12 даются на самостоятельное изучение к следующему занятию.
3.3 Тема №3. Технология Apache Spark

Цель: ознакомление с технологией Apache Spark, овладение программным обеспечение обработки данных в системе Spark на языке Scala

Вопросы подлежащие рассмотрению:

1. Конфигурирование и системные утилиты Apache Spark, взаимодействие с классическими и распределенными файловыми системами

2. Запуск примеров программ в системе Spark на языке Java и Scala.

3. Разработка собственной программы на языках Java и Scala для Apache Spark

Рекомендуемая литература:

1. Изучаем Spark / Захария М., Венделл П., Конвински Э., Карау Х. - Москва: ДМК-Пресс, 2015. - 400с.

3.3.1 Занятие 1. Настройка и запуск программ для фреймворка Spark

План

На данном занятии необходимо освоить настройку фреймворка Spark и 3 способа запуска программ для фреймворка Spark:

Запуск из среды IDEA
Запуск с помощью скрипта spark-submit
Запуск из REPL-строки дистрибутива Spark установленного на диск

Затем необходимо написать программы для Spark на языке Scala, решающие следующие задачи (обязательно, алгоритм должен быть основан на использовании операций с RDD):

1. На основе заданного текста в файле составить словарь — то есть список всех уникальных слов, используемых в тексте в алфавитном порядке. Знаки препинания игнорировать.

2. На основе заданного текста подсчитать вхождение каждого слова. То есть словарь в котором для каждого слова указывается сколько раз оно входит в текст.

3. Даны два разных текста. Сформировать 3 множества: пересечение словарей заданных текстов, множество слов, входящих только в первый текст, множество слов, входящих только во второй текст.

4. Дана матрица чисел. Проверить является ли матрица симметричной относительно главной диагонали.

5. Написать программу перемножения двух матриц.

6. Дана матрица a. Сформировать новую матрицу где каждый элемент a_ij заменен на значение выражения a_ij₌a_i_+2,_j + a_i_-2,_j + a_i_,_j₊₂ + a_i_,_j_-2 + 4a_i_,_j

Запуск из среды IDEA

В системе должна быть установлена среда IDEA, плагин для Scala и Scala SDK как это описано в разделе 3.1.

1) скопируйте с общего диска каталог проекта:

<

общая сетевая папка>\hpds-2016\code\spark-grep

2) импортируйте проект в среду IDEA, подтвердите все настройки по умолчанию

3) в открывшемся окне щелкните правой кнопкой по каталогу src и в выпадающем меню выберите Mark Directory as → Source Root

4) Откройте класс SparkGrep находящийся в src. При этом среда попросит указать местоположение Scala SDK (аналогично разделу 3.1).

5) Запустите программу из SparkGrep через меню Run

Программа вернет диагностическое сообщение:

Usage: SparkGrep Process finished with exit code 1

Н

еобходимо сообщить параметры программе хост, входной текстовый файл и слово, количество вхождений которого нужно подсчитать.

6) Это можно сделать в диалоге Run/Debug Configurations

7) Запустите программу повторно.

Помимо логов программа вернет результат работы:

5 lines in src/main/scala/spark/example/SparkGrep.scala contain val ok

В данном файле найдено 5 вхождений слова val

Проанализируем лог программы.

Во-первых, встречается исключение:

ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Во-вторых, в логах можно увидеть сообщение

INFO SparkUI: Started SparkUI at http://192.168.0.25:4041

Чтобы решить проблему с исключением (это потребуется на следующих шагах) нужно скопировать с общей папки каталог hadoop

<общая сетевая папка>\dist\hadoop\

Затем, выполнить в командной строке команду

d:\hadoop\bin\winutils.exe chmod 777 /tmp/hive

Затем, в каталоге Run/Debug Configurations прописать переменную окружения HADOOP_HOME

П

ри повторном запуске программы исключение не должно возникать.

Что касается второго замечания о http://192.168.0.25:4041. То, здесь удобно продемонстрировать что при запуске программы на spark автоматически запускается веб-сервер на котором можно увидеть, сколько рабочих процессов запущено для текущей задачи.
В

программу встроена задержка на 30 секунд. Это позволяет во время работы программы, вставить в строку браузера адрес http://192.168.0.25:4041 и увидеть страницу:

Запуск с помощью скрипта spark-submit

1. Разархивируйте архив с общего каталога

spark-1.6.0-bin-hadoop2.6.tgz

на локальный диск.

2. В среде IDEA упакуйте программу в виде jar с помощью инструмента Maven (на рисунке справа)

В результате в подкаталоге проекта target появится файл с расширением jar

Запустите командную строку Windows и выполните команду

spark-submit

без аргументов. Прочитайте хелп и в соответствии с описанием опции

--class

осуществите запуск программы.

Для успешного выполнения программы необходимо прописать переменную окружения HADOOP_HOME в Windows

Добейтесь результата аналогичного полученному в среде IDEA.

Запустите другие примеры с помощью скрипта:

run-example.cmd

Запуск из REPL-строки дистрибутива Spark установленного на диск

Дальнейшее изучение Spark удобно осуществлять в REPL строке, запускаемой утилитой:

spark-shell.cmd

Работа с этой строкой аналогична REPL-строке Scala.

3.4 Тема №4. Технология Apache Spark + R

Цель: ознакомление с языком анализа данных R, овладение программным обеспечением анализа данных в системе Spark на языке R

Вопросы подлежащие рассмотрению:

1. Интерактивная среда на языке R в системе Apache Spark

2. Запуск примеров программ в системе Spark на языке R. Измерение производительности

3. Разработка собственной программы на языке R для Apache Spark

Рекомендуемая литература:

1. Шипунов А.Б., Балдин Е.М. [Электронный ресурс] – режим доступа: http://www.inp.nsk.su/~baldin/DataAnalysis/index.html — свободный

3.5 Тема №5. Технологии Apache Hive, Hbase

Цель: ознакомление с реляционными и не-реляционными технологиями хранения данных Apache Hive и HBase, овладение программным обеспечением создания, поиска и изменения данных в системах Hive и HBase

Вопросы подлежащие рассмотрению:

1) Запуск примеров программ для Apache HBase. Измерение производительности

2) Запуск примеров программ для Apache Hive. Измерение производительности

3) Разработка собственных программ на языке Java для Apache Hive и HBase

Рекомендуемая литература:

Изучаем Spark / Захария М., Венделл П., Конвински Э., Карау Х. - Москва: ДМК-Пресс, 2015. - 400с.

4 САМОСТОЯТЕЛЬНАЯ РАБОТА

4.1 Установка и настройка среды IDEA, а также SDK для языков Java и Scala

Загрузка установочных комплектов производится с сайтов:

1. http://java.oracle.com – Java SDK 1.8 (иногда называется JDK)

2. http://www.scala-lang.org/download/ - Scala SDK 2.11.7

3. https://www.jetbrains.com/idea/ - IntelliJ IDEA Community Edition 15.0.3
Первым действиям устанавливаем JDK 8 с сайта Oracle согласно инструкциям установочного комплекта. В результате на диске появится каталог: C:\Program Files\Java\jdk1.8.0_80
Далее запускаем программу установки Idea 15.0.3 install
Ставим флажки

После установки запускаем IDEA

Выбираем светлую сторону (тема слева)

Кликаем Skip All and Set Default

О

кно выбора проекта
Кликаем внизу справа Configure → Plugins

Окно плагинов

Набираем в окошке поиска - Scala. В появившейся надписи кликаем Browse

Окно просмотра плагинов после клика Browse

Выбираем нижний Scala (custom languages)
Выбор языка Scala

Кликаем Install справа
Запускается скачивание плагина

После скачивания слева появится Restart IntelliJ IDEA

Кликаем Restart и подтверждаем

Теперь устанавливаем Scala SDK
http://www.scala-lang.org/download/2.11.7.html
Загрузить и установить

Ничего выбирать не нужно.

После рестарта проверяем поставилась ли Scala.

Выбираем Create New Project.

Слева в списке должен быть проект типа Scala Справа чистый Scala проект (вверху)

Нажимаем кнопку « Next».

Здесь выбираем местоположение проекта и обязательно Project SDK и Scala SDK.

Project SDK это куда установлена JDK Например: C:\Program Files\Java\jdk1.8.0_80

Scala SDK - куда установлена Scala. Например: C:\Program Files (x86)\scala

Нажимаем кнопку «Finish». Среда думает, индексирует, и потом открывается проект.

Теперь создать в проекте HelloWorld класс и запустить его.

Правой кнопкой на src в структуре проекта слева → New → Scala class

Вводим имя класса

Появляется класс

Вставляем код:
object HelloWorld { def main(args: Array[String]): Unit = { println("Hello, world!") } }

Теперь запускаем:
Правой кнопкой по классу Run HelloWorld

После компиляции в консоли внизу выведется искомая строка

Далее, желательно выдать среде побольше памяти, а то сама она не догадается.

1. Закрыть среду

2. Найти файл C:\Program Files (x86)\JetBrains\IntelliJ IDEA Community Edition 15.0.3\bin\idea.exe.vmoptions

3. Найти в нем строку: -Xmx512m

4. Дать сколько не жалко, хотябы 1Гб, но можно и больше: -Xmx1024m

5. Сохранить, запустить среду, будет пошустрее

4.2 Темы на самостоятельное изучение

Темы, выносимые на самостоятельное изучение

Технологии высокопроизводительных вычислений MPI, OpenMP
Задачи на Map/Reduce
Распределенные файловые системы
Области применения ABDS

4.3 Темы рефератов

1. Система Hive

2. Система Impala

3. Система Shark

4. Система Phoenix

5. Сравнение технологий MapReduce: Hadoop и Twister

6. Среда R

7. Система Mahout

8. Система MLBase

9. Файловая система MapR

10. Системы планирования задач

11. Система YARN

12. Система Mesos

5 УЧЕБНО-МЕТОДИЧЕСКОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ

5.1 Основная литература

Гергель, В.П. Современные языки и технологии параллельного программирования [Текст] : учебник для вузов / В. П. Гергель ; авт. предисл. В. А. Садовничий ; Библиотека Нижегородского государственного университета имени Н. И. Лобачевского (Нижний Новгород). - М. : Издательство Московского университета, 2012. - 408 с. (30 экз.)

5.2 Дополнительная литература

Проект Apache Hadoop [Электронный ресурс]. — Режим доступа: https://hadoop.apache.org/, свободный.
Шипунов А.Б., Балдин Е.М. [Электронный ресурс] – режим доступа: http://www.inp.nsk.su/~baldin/DataAnalysis/index.html — свободный
Инструменты параллельного программирования в системах с общей памятью [Текст] : учебник для вузов / К. В. Корняков [и др.] ; ред. В. П. Гергель ; Нижегородский государственный университет (Нижний Новгород). - 2-е изд., испр. и доп. - М. : Издательство Московского университета, 2010. - 271 с. (26 экз.)
Линев, А.В. Технологии параллельного программирования для процессоров новых архитектур [Текст] : учебник для вузов / А. В. Линев, Д. К. Боголепов, С. И. Бастраков ; ред. В. П. Гергель ; Нижегородский государственный университет (Нижний Новгород). - М. : Издательство Московского университета, 2010. - 157 с. (26 экз.)
Гергель, В.П. Высокопроизводительные вычисления для многопроцессорных многоядерных систем [Текст] : учебник для вузов / В. П. Гергель ; Библиотека Нижегородского государственного университета (Нижний Новгород). - М. : Издательство Московского университета, 2010. - 544 с. (26 экз.)
Дунаев, В.В. Самоучитель JavaScript : самоучитель / В. В. Дунаев. - 2-е изд. - СПб. : Питер, 2005. - 394[6] с. (20 экз.)
Васильев, А.Н. Java. Объектно-ориентированное программирование для магистров и бакалавров [Текст] : базовый курс по объектно-ориентированному программированию: учебное пособие для вузов / А. Н. Васильев. - СПб. : ПИТЕР, 2012. - 400 с. ( 1экз.) + 2014 год (1 экз.)

Базы данных, информационно-справочные и поисковые системы

1. www.compress.ru – Журнал «КомпьютерПресс»

2. www.osp.ru – Издательство «Открытые системы»

3. www.cnews.ru – Издание о высоких технологиях

4. www.it-daily.ru – Новости российского ИТ-рынка

5. www.isn.ru – Российская сеть информационного общества

МАТЕРИАЛЬНО-ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ

Лекции осуществляются в специализированной аудитории с проектором, экраном, на который слайды демонстрации проецируются.

Добавить документ в свой блог или на сайт

	Методические указания по практическим занятиям и самостоятельной... Миронова Е. А. Договорная работа: Методические указания по практическим занятиям и самостоятельной работе для направления подготовки...		Методические указания по самостоятельной и индивидуальной работе... Имитационное моделирование экономических процессов: методические указания по самостоятельной и индивидуальной работе студентов всех...
	Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования		Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
	Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования		Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
	Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования		Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
	Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования		Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
	Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования		Методические указания по самостоятельной и индивидуальной работе... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
	Методические указания и задания к практическим занятиям и самостоятельной... Методические указания и задания к практическим занятиям и самостоятельной работе для студентов направления 030900. 62 Юриспруденция...		Методические указания для подготовки к практическим занятиям (семинарам)... Методические указания для подготовки к практическим занятиям (семинарам) и самостоятельной работе
	Методические указания к самостоятельной работе студентов по изучению... Методические указания по курсу «Политология» подготовлены в соответствии с Государственным образовательным стандартом, Законом Российской...		Методические указания к практическим занятиям и самостоятельной работе Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

Методические указания по практическим занятиям, самостоятельной и индивидуальной работе магистров всех форм обучения Направление

1 1 ВВЕДЕНИЕ

2 ТЕХНОЛОГИИ BIG DATA

3 УКАЗАНИЯ К ПРАКТИЧЕСКИМ ЗАНЯТИЯМ

3.1 Тема №1 Среда разработки IntelliJ IDEA. Язык Java 7

3.2 Тема №2 Язык Scala

3.2.1 Занятие 1 «Настройка интерактивного режима Scala в ОС Windows»

3.3 Тема №3. Технология Apache Spark