Отчет о научно-исследовательской работе





Скачать 168.15 Kb.
НазваниеОтчет о научно-исследовательской работе
Дата публикации13.03.2015
Размер168.15 Kb.
ТипОтчет
100-bal.ru > Информатика > Отчет


ОБЪЕДИНЕННЫЙ ИНСТИТУТ ЯДЕРНЫХ ИССЛЕДОВАНИЙ
УДК

УТВЕРЖДАЮ

Директор ОИЯИ,

Академик РАН

А. Н. Сисакян
“____” ______________ 2008 г.

_________________________

подпись М.П.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
Развитие, исследование и внедрение средств высокопроизводительных вычислений на основе технологий Грид с поддержкой гетерогенных, территориально-распределенных вычислительных комплексов

по теме:
Разработка грид-сервисов по сбору и передаче информации и создание на их основе системы мониторинга распределенных программно-аппаратных комплексов для вычислений и хранения данных в глобальной системе Грид”


вид отчета: итоговый


Руководитель темы: _________________________(кандидат физ.-мат.наук, Кореньков В.В.)

подпись


г. Дубна 2008 г.

Список основных исполнителей

Научный руководитель,
к.физ.-мат.н.



подпись, дата

Кореньков В.В.

инж.-прог.



подпись, дата

Белов С.Д.

инж.-прог.


подпись, дата

Матвеев М.В.

инж.-прог.




подпись, дата

Некрасова И.К.

к.физ.-мат.н.,

ученый секретарь



подпись, дата

Стриж Т.А.


Реферат

Объект исследования – система мониторинга, статистика использования как всей грид-инфраструктуры, так и отдельных ее подсистем, система мониторинга и учета использования ресурсов.

Цели работы на пятом этапе – создание системы мониторинга для сбора информации о функционировании распределённой вычислительной среды СКИФ-ГРИД. Создание Портала отображающего и предоставляющего полученную информацию в качестве веб-сервисов.

Результат работы — создан прототип системы мониторинга (система сбора данных и веб сайт для доступа к информации мониторинга), проведены тестирование и отладка общей схемы работы алгоритмов системы, исследованы возможности использования информации, получаемой системой учета и мониторинга, для решения задач автоматизированного управления инфраструктурой и автоматизированного квотирования ресурсов.

Перечень принятых сокращений и наименований
X-COM - система для организации распределенных вычислений, разрабатываемая в НИВЦ МГУ

UNICORE – программная платформа для организации высокопроизводительных вычислений на суперкомпьютерах

Ganglia - система мониторинга локальных ресурсов

AntMon - система мониторинга локальных ресурсов и эффективности работы параллельных задач, разрабатываемая в НИВЦ МГУ

MonALISA - средство для построения систем мониторинга, обладающее гибкими возможностями настройки и масштабируемостью


Оглавление


3

1 Введение 3

2 Требования к системе мониторинга 3

3 Анализ технических средств 4

4 Портал системы мониторинг 7

5 Описание программы 9

5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий Cleo 9

5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий Cleo 9

5.2 Настройка модуля получения информации мониторинга UNICORE 10

5.2 Настройка модуля получения информации мониторинга UNICORE 10



1 Введение


Проект «СКИФ-ГРИД» подразумевает создание распределенной инфраструктуры вычислительных ресурсов и ресурсов хранения данных на основе ГРИД-технологий. К настоящему моменту существует уже несколько проектов в этой области и уже складываются некоторые стандарты организации подобного рода инфраструктур. Одной из важнейших составляющих любого программного обеспечения ГРИД является система мониторинга.

В настоящее время в мире существует несколько проектов по грид-мониторингу, но все они не обеспечивают должного уровня сервиса мониторинга. Кроме того, нет еще устоявшихся требований на количество и качество предоставляемых системой мониторинга услуг. Для преодоления этой проблемы требуется создание достаточно гибкой системы, которая могла легко меняться и адаптироваться к выдвигаемым требованиям.

Возникает необходимость создания системы мониторинга, которая бы удовлетворяла всем условиям.

2 Требования к системе мониторинга



Система мониторинга - это набор программных и аппаратных средств для анализа и контроля состояния некоторой системы. Система мониторинга должна не только собирать информацию, но и предоставлять её для различных систем, нуждающихся в данной информации. Для обеспечения этих возможностей система мониторинга должна соответствовать некоторым требованиям:

  1. Гибкость собираемой информации. Для этого вводится понятие метрики. Метрика – это некая «элементарная», «неделимая» характеристика ресурса. Примерами метрик служат: количество доступных байт памяти, процент загруженности процессора, версия операционной системы, объем свободного места на диске и т. д. Кроме того, все метрики можно разделить на два класса: статические и динамические. Первые меняются медленно или не меняются вообще, вторые меняются быстро. Таким образом, механизм метрик позволяет нам четко структурировать собираемую информацию. Система должна поддерживать конфигурацию метрик: набор собираемых метрик, вид метрики (статическая или динамическая), интервал обновления и др.

  2. Универсальность относительно используемого программного окружения. Здесь, в первую очередь, речь идет о поддержке различных операционных систем, таких как:

    1. ОС семейства Microsoft Windows NT;

    2. ОС семейства Unix (Linux, Solaris, Mac OS, …).

Данное требование является абсолютно необходимым, поскольку инфраструктура GRID может быть крайне разнородной, гетерогенной. Различные ресурсы могут работать не только под различными ОС, но также иметь различную архитектуру. И здесь на первое место выходят такие требования, как общность механизмов реализации отдельных компонент системы и стандартные интерфейсы, описывающие эти компоненты. Только стандарты способны обеспечить интероперабельность между различными реализациями одного и того же интерфейса.

  • Универсальность относительно программ, которым выдается собранная
    информация.
    Система мониторинга не должна быть ориентирована лишь на какое-то конкретное программное обеспечение (нельзя рассчитывать только на одну систему управления кластером, на одну службу сбора информации и т. д.). Иными словами, не должно быть зависимости от конкретных внешних интерфейсов. Конкретный интерфейс реализуется специальным модулем, добавление которого не требует изменения существующего кода системы. Написание этого модуля, как правило, не требует особых усилий.

  • Универсальность относительно систем параллельного запуска программ. Система мониторинга должна предоставлять информацию не только о загрузке системы в целом, но и о том, насколько система загружена конкретными GRID-программами. На узлах GRID приложения запускаются, как правило, с помощью средств параллельного запуска, таких как MPI, PVM, Cluster OpenMP и т. д. Для успешной работы система мониторинга должна поддерживать существующие системы. Также весьма желательно, чтобы присутствовала возможность добавления поддержки новых систем. Для того, что бы этот процесс был простым, необходим стандартный интерфейс добавления новых средств.

  • Развитая клиентская часть. Собранная информация должна быть доступна не только стороннему программному обеспечению, но также и пользователю в удобном для него виде. Иными словами, в системе должен быть предусмотрен графический клиент. Информация должна быть представлена в виде графиков и таблиц. Для удобной навигации по метрикам можно использовать дерево.

  • Анализ собранной информации. Собранную информацию можно анализировать. В результате этого можно выдавать экспертные рекомендации, советы, подсказки и т. д.

  • Доступность. Система должна быть свободно распространяемой и с открытым исходным кодом. Только в этом случае возможно оперативное устранение ошибок и добавление новых функциональных возможностей.


3 Анализ технических средств



MonALISA

Система MonALISA [1] (Monitoring Agents in A Large Integrated Services Architecture) разрабатывается в Калифорнийском Технологическом Институте. Она является самой сложной из всех рассмотренных, как с точки зрения архитектуры, так и с точки зрения установки и настройки. Это является платой за очень широкий набор возможностей и гибкость. MonALISA можно рассматривать как средство для разработки системы мониторинга подобно тому, как язык программирования является средством разработки программ.

В настоящее время для сбора информации о функционировании элементов российского сегмента GRID используется система мониторинга MonALISA.

Данная система представляет собой распределенный сервис для мониторинга, контроля и глобальной оптимизации сложных систем. MonALISA основана на масштабируемой архитектуре динамически распределенных сервисов (Dynamic Distributed Services Architecture (DDSA)), реализованной с помощью технологий Java / JINI и Web-сервисов. Масштабируемость системы обеспечивается использованием многопоточных средств выполнения (multithreading execution engine) и тесно связанных, самоописывающихся динамических сервисов или агентов, а также возможностью для каждого сервиса регистрироваться самостоятельно и использоваться другими сервисами или клиентами, которые требуют подобную информацию. Посредством использования сервисов поиска, распределенного реестра сервисов и механизмов обнаружения и извещения сервисы имеют доступ друг к другу.

Парадигма мобильного кода (мобильные агенты), используемая в архитектуре DDSA, расширяет подходы вызова удаленных процедур (remote procedure call) и модели клиент-сервер (client-server). Как программный код, так и соответствующие параметры загружаются в систему динамически. Совмещение архитектуры сервисов и мобильности кода делает возможным построение расширяемой иерархии сервисов, которая способна управлять очень большими системами.



Рис. 1. Схема сбора данных в системе MonALISA
Система следит за вычислительными фермами, сетевыми соединениями, маршрутизатор, коммутаторами, используя протокол SNMP, и динамически загружает модули, которые обеспечивают интерфейс к уже существующим средствам для мониторинга и приложениям, таким как Ganglia, PBS, LSF. Ядро сервиса мониторинга основано на многопоточности, когда большинство данных собирается параллельно, независимо друг от друга. Модули, используемые для получения и накопления различных наборов данных, динамически загружаются и выполняются каждый, как отдельный процесс (легковесный процесс Java). Для того чтобы уменьшить загрузку машины, на которой установлена MonALISA, динамический пул потоков выполнения создается единожды, и каждый поток может быть использован заново после завершения задачи, к которому она приписана. Если какая-либо задача в процессе выполнения «падает» или «подвисает» из-за ошибок ввода/вывода, другая задача не прерывается и не прекращается, так как они выполняются независимо. Для контроля над такими ситуациями реализован специальный механизм остановки потока и последующего перезапуска, если задача не была успешно завершена. Схематичное представление механизма сбора данных показано на рис. 1.

Такой подход делает относительно легким наблюдение большого числа разнородных узлов с различными временами отклика и в то же время оперировать с машинами, которые недоступны, не влияя на другие измерения.

Модуль для мониторинга – это динамически загружаемый элемент, который выполняет процедуры (запускает программу/скрипт или делает запрос по протоколам SNMP или LDAP) для получения набора параметров (измеряемых величин) посредством разбора выходного потока процедуры. В общем случае такой модуль представляет собой обычный класс, который получает набор величин и предоставляет их в простом стандартном формате. Это т. н. pull mode.



Рис. 2. Схема работы ApMon




Другой возможностью является посылка данных сервису MonALISA (push mode). Для этого разработан набор классов и библиотек, называемых ApMon (Application Monitoring API). Данные посылаются по протоколу UDP одной или нескольким машинам, на которых запущен сервис MonALISA (см. Рис.4). ApMon реализован на пяти языках программирования: C, C++, Java, Perl, Python. Адреса машин с сервисами, на которые ApMon посылает данные, определяются динамически из конфигурационных файлов и периодически проверяются без перезапуска программы. При этом может быть сделана возможность отправки данных с паролем. MonALISA проверяет пароль, и если он подходит, то принимает UDP пакет и сохраняет информацию в своей базе данных, в противном случае отвергает. Для работы в таком режиме сервис должен запустить модуль, слушающий определенный порт (порт можно изменять). ApMon наряду с загружаемыми модулями представляет мощный инструмент для организации сбора любых параметров.

В системе реализована поддержка трех СУБД: MySQL, PostrgeSQL, McKoi. При этом возможно организовать различные структуры БД. Это зависит от количества и качества данных. Свобода предоставляется еще и в выборе использования встроенной БД или внешней, соответствующем образом настроенной (должен быть разрешен доступ для машины с сервисом MonALISA).

Для отображения разработана система на основе Apache Tomcat, называемая MonALISA repository. MonALISA repository ведет поиск сервисов, предоставляющих необходимые данные на основе заранее определенных предикатов и фильтров, и получаемую информацию сохраняет в собственной базе данных. Предикаты и фильтры (список собираемых параметров) могут изменяться «на лету», без остановки сервера Tomcat. Работа MonALISA repository представлена на рис. 2. Так как сервер Tomcat поддерживает технологии JSP и сервлеты, то на их основе была создана поддержка WAP (Wireless Access Protocol), и WAP страницы содержат ту же информацию, что и обычные Web-страницы.

Система мониторинга состоит из системы MonALISA, которая выполняет следующие функции:

  1. Собирает информацию о функционировании узлов СКИФ-ГРИД полигона.

  2. Хранит информацию в репозитории (MonALISA repository)

  3. Предоставляет информацию для использования другими службами (ресурс-брокер)


4 Портал системы мониторинг



Портал системы мониторинга СКИФ-ГРИД — это надстройка над системой мониторинга MonALISA, отображающий данных хранящиеся в MonALISA repository.

Ссылка на веб-сайт системы мониторинга СКИФ-ГРИД: http://skifmon.jinr.ru.


Рис. 3. Фрагмент главной страницы портала системы мониторинга СКИФ-ГРИД.

В центрально части расположена карта расположений сайтов-участников проекта.

Участники полигона на карте обозначены подписями-названиями и имеют символьное обозначение состояния.

Над картой расположены радио-кнопка, для выбора типа информации, которая будет отображена на карте.


  • Ресурсы сайтов СКИФ-ГРИД:

общие сведения о имеющихся ресурсах сайта

при наведении курсора мыши на ярлык сайта, появляется выпадающее окно с данные о ресурсах выбранного сайта: название, число ядер, процессоров, узлов, оперативной памяти, а так же производительность пиковая и по результатам теста LINPACK.



  • Занятые и доступные ресурсы:

данные о количестве занятых и доступных процессоров. Под картой появляется легенда, ярлыки разбиваются на цветовые сектора, в соответствии с легендой. При наведении курсора мыши на ярлык сайта появляется выпадающее окно с названием сайта и числом используемых, свободных и отключенных процессоров.


  • Задачи в СКИФ-ГРИД:

данные о количестве задач, выполняемых или находящихся в очереди на сайте в данный момент времени. При наведении курсора мыши на ярлык сайта появляется выпадающее окно с названием сайта и числе задач, выполняемых или ожидающих в очереди. Под картой находится легенда, поясняющая значение цветового разбиения ярлыка сайта.
Возможна навигация по карте.

С помощью стрелок, находящихся по углам и сторонам карты: при нажатии мышью на стрелку происходит перемещение по карте, в сторону направления стрелки.

Квадрат навигации — уменьшенный вариант стрелок для навигации, находящихся по углам и сторонам карты.

Ярлыки лупы со знаками + и -, находящиеся под картой, позволяют изменять масштаб отображения карты. При нажатии на ярлык, происходит увеличение/уменьшение масштаба с сохранением центра.
Размер изображения

Доступны следующие варианты: по размеру окна, 600х300, 780х390, 1024х512. После выбора размера изображения, карта перерисовывается с выбранным размером.
Выбрать карту: для отображения возможно выбрать карту: Россия, Европа, Азия, Весь мир,

Дерево.

- Карта

Режим просмотра карты с нанесенными на нее сайтами. Сайты имеют название и цветной кружок-обозначение, цвет соответствует состоянию сайта, по выбранному ресурсу для отображения.
- Ресурсы

- Сводная таблица

Сводная таблица по ресурсам СКИФ-ГРИД. Статистика предоставлена по вычислительным ресурсам (число ядер, процессоров, узлов) и производительности (пиковой и результаты теста LINPACK), значение приводится в ТФлопс, для каждого сайта проекта и суммарное значение.
- Производительность.

Представляет собой диаграмму производительности пиковой и по тесту LINPACK. Выделение названий сайтов, позволяет построить диаграмму только для интересующих сайтов. Для удобства пользователей существуют ссылки выделить все и снять выделение. Выделить все выделяет все сайты, внять выделение убирает выделение со всех сайтов. При нажатии на кнопку «Построить» происходит построение диаграммы для отмеченных сайтов.
- Ядра, процессоры, узлы.

Представляет собой диаграмму числа процессоров, ядер, узлов, построенную для каждого сайта. Выделение названий сайтов, позволяет построить диаграмму только для интересующих сайтов. Для удобства пользователей существуют ссылки выделить все и снять выделение. Выделить все выделяет все сайты, внять выделение убирает выделение со всех сайтов. При нажатии на кнопку «Построить» происходит построение диаграммы для отмеченных сайтов.
- Сайт программы СКИФ-ГРИД.

Ссылка на официальный сайт проекта СКИФ-ГРИД.
- Свернуть меню - сворачивает все открытые пункты подменю.
- Авторизация пользователей.

Поля для ввода имени пользователя и пароля. Авторизация необходима для администрирования портала.

5 Описание программы

5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий Cleo



Для модуля получения информации мониторинга UNICORE:

1) Необходимое ПО

- пакет UNICORE 6

- пакет Unicore6-CIS, составная часть ПО UNICORE

- JRE 1.5, среда запуска приложений, написанных на языке Java

- пакет ApMon, предназначенный для передачи информации мониторинга по сети на удаленный сервер

- любая программа, позволяющая выполнять программы пользователей по расписанию (например, crond в ОС Linux)

2) Языки программирования, на которых написана программа

- Java
Для модуля получения информации мониторинга Cleo:

1) Необходимое ПО

- интерпретатор языка Perl версии больше 5.008 и входящий в его комплект стандартный набор библиотек

- JRE 1.5, среда запуска приложений, написанных на языке Java

- пакет для создания систем мониторинга MonALISA

2) Языки программирования, на которых написана программа:

- Java

- Perl


  • Функциональное назначение:



Модуль для получения информации мониторинга UNICORE, модуль для получения информации мониторинга Cleo:

сбор доступной информации о состоянии вычислительной инфраструктуры сайтов - элементов СКИФ-ГРИД, таких как количество свободных и занятых процессоров, состояния очередей задач, проверка работоспособности сайта, выполняющихся пользовательских задачах.


  • Описание логической структуры:


Для модуля получения информации мониторинга UNICORE:

Модуль мониторинга получает требуемые данные, публикуемые в информационной системе Unicore6-CIS ПО UNICORE. Выполнение модуля происходит непосредственно на мониторируемом сайте.

Далее полученные данные отправляются на центральный сервер мониторинга при помощи пакета ApMon.
Для модуля получения информации мониторинга Cleo:

Модуль мониторинга получает требуемые данные, публикуемые системой пакетной обработки Cleo в виде XML-файла. После предварительной обработки данные передаются в систему MonALISA.

Сам модуль мониторинга вызывается системой MonALISA с определенной периодичностью.



  • Используемые технические средства при работе программы.

Любые электронно-вычислительные машины, поддерживающие запуск и выполнение ПО, необходимого для выполнения программы.


  • Вызов и загрузка.

Вызов и загрузка программы осуществляется с помощью стандартных средств вызова и загрузки ПО Java.

  • Входные данные.

Для модуля получения информации мониторинга UNICORE:

Входные данные для программы получаются из информационной системы UNICORE путем запроса через протокол MBean. Полученный таким образом XML-файл обрабатывается, из него извлекаются требуемые данные. Формат XML-файла соответствует принятой в информационной системе ПО UNICORE схеме выдачи данных по запросу через MBean.

Для модуля получения информации мониторинга Cleo:

Входные данные для программы получаются из файла, формируемого системой пакетной обработки Cleo. Они представлены в виде XML-файла в формате, соответствующем стандартному формату системы Cleo для данных о состоянии ресурсов кластера и очередей задач.


  • Выходные данные.

Для модуля получения информации мониторинга UNICORE:

Выходные данные содержат сведения о вычислительных ресурсах кластера и о запущенных на этих ресурсах задачах.

Выходные данные передаются на центральный сервер мониторинга СКИФ-ГРИД по сети в виде UDP-пакетов при помощи пакета ApMon в соответствии с реализованным в этом пакете внутренним форматом.

Для модуля получения информации мониторинга Cleo:

Выходные данные содержат сведения о находящихся под управлением исстемы Cleo ресурсах и выполняемых на этих ресурсах задачах.

Выходные данные представляют из себя объекты Java, содержащие всю требуемую информацию в виде, стандартном для модулей расширения пакета MonALISA.

5.2 Настройка модуля получения информации мониторинга UNICORE



На сервере UNICORE установить и настроить Unicore6-CIS:
1) Скачать пакет Unicore6-CIS (http://sourceforge.net/project/showfiles.php?group_id=102081&package_id=269054)

2) Распаковать архив, скопировать jar-файлы cis* и cis-types* в папку /lib компонента UNICORE/X
3) Добавить объявление сервиса CIS-IP в файл /conf/wsrflite.xml:












4) Добавить запись "de.fzj.unicore.cisprovider.impl.InitOnStartup" в параметр uas.onstartup в файле /conf/uas.config. Например:

uas.onstartup=de.fzj.unicore.uas.util.DefaultOnStartup \

de.fzj.unicore.cisprovider.impl.InitOnStartup
5) Перезапустить UNICORE/X
На любой вычислительной машине с доступом в сеть и установленным пакетом JRE 1.5 установить и настроить модуль сбора информации мониторинга из UNICORE.
1) Скачать пакет по адресу http://skifmon.jinr.ru/distribution, распаковать архив.
2) Разрешить в сетевом брандмауэре отправку UDP-пакетов на порт 8884 узла skifmon.jinr.ru
3) Настроить параметры запуска модуля в файле skifmon.conf

    1. Site/Name, название сайта в системе мониторинга;

    2. Source/URL, сетевое имя сервера UNICORE и порт доступа к информационной системе (в формате host.domain:port);

    • Source/username и Source/password, имя учетной записи с правами суперпользователя в UNICORE (значение: controlRole) и пароль для авторизации по этой учетной записи;

    • разрешить доступ к файлу настроек только из учетной записи пользователя (не имеющего прав суперпользователя в ОС!), от имени которого будет выполняться код модуля мониторинга.


4) Настроить периодический запуск модуля

На примере ОС Linux:

- добавить задание для периодического запуска посредством crond
- отредактировать извлеченный из архива файл конфигурации skifmon.cron, указать в нем правильные пути к интерпретатору Java и файлу настроек skifmon.conf пакета мониторинга, а также файла для записи протокола работы модуля мониторинга
- от имени пользователя, из учетной записи которого должен запускаться модуль мониторинга, выполнить команду: crontab skifmon.cron

Проверка правильности функционирования модуля осуществляется путем анализа файла протокола, его работы и контроля поступающих на центральный сервис мониторинга данных.
Сообщения системному программисту поступают в файл протокола работы модуля мониторинга.


Добавить документ в свой блог или на сайт

Похожие:

Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
Гост 32-2001. Межгосударственный стандарт. Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
Межгосударственный стандарт (гост 32-2001). Отчет о научно-исследовательской работе. Структура и правила оформления (редакция 2005...
Отчет о научно-исследовательской работе iconОбщие положения отчет
Отчет о научно-исследовательской работе (нир) документ, который содержит систематизированные данные о научно-исследовательской работе,...
Отчет о научно-исследовательской работе iconРеферат Отчет о научно-исследовательской работе состоит
Отчет о научно-исследовательской работе состоит из 33 рисунков, 8 разделов, 12 подразделов, 9 формул, 31 источника. Общий объем 48...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе «определение доступности...
Ключевые слова: отчет, научно-исследовательская работа, заключительный отчет, кинопоказ, доступность, качество, цифровые технологии,...
Отчет о научно-исследовательской работе iconОтчет по научно-исследовательской работе студентов экономического факультета за 2012-2013 г
Научно-исследовательская работа студентов является действенным средством повышения качества подготовки специалистов и проводится...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
Двухфакторная многокритериальная методика аттестации научно-педагогических работников спбгу на основе показателей эффективности их...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе фгоу впо «Кемеровский гсхи»
Ключевые слова: наука, инновации, инновационный потенциал, инновационный проект, финансирование научно-исследовательской работы,...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе за 2011 год
Основные научные направления (по которым факультет осуществляет научно-исследовательскую деятельность)
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
Проведение научных исследований коллективами научно-образовательных центров в области коллоидной химии и поверхностных явлений
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
Проведение научных исследований коллективами научно-образовательных центров в области коллоидной химии и поверхностных явлений
Отчет о научно-исследовательской работе iconОтчет о научной исследовательской работе студентов (магистрантов) Института
Организация научно-исследовательской деятельности студентов и их участие в научных исследованиях и разработках в 2012 году
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской и опытно-конструкторской работе
Методические указания по выполнению контрольной работы одобрены на заседании Научно-методического совета взфэи
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе
«научно-методическое сопровождение выполнения обязательств российской федерации по охране всемирного культурного и природного наследия...
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе в рамках федеральной целевой...
Государственное образовательное учреждение высшего профессионального образования
Отчет о научно-исследовательской работе iconОтчет о научно-исследовательской работе в рамках федеральной целевой...
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования


Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
100-bal.ru
Поиск