Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии»





Скачать 204.17 Kb.
НазваниеОтчет №3 о научно-исследовательской работе по теме: «Грид-технологии»
Дата публикации17.03.2015
Размер204.17 Kb.
ТипОтчет
100-bal.ru > Информатика > Отчет


МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М.В.ЛОМОНОСОВА

НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д.В.СКОБЕЛЬЦЫНА

Утверждаю

Зам. Директора

НИИЯФ МГУ

В.И. Оседло

« » 2010 г.


ОТЧЕТ № 3

О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ

по теме: «Грид-технологии»

(промежуточный)

3 этап

Разработка методов эффективного решения задач обработки, хранения, передачи и защиты информации

Руководитель работы

д.ф.-м.н. В.А. Ильин

Москва 2010

СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ, зав. Лабораторией,

д.ф.-м.н. В.А. Ильин (заключение)
Исполнители
в.н.с., к.ф.-м.н. А.П. Крюков (введение)
м.н.с. Л.В. Шамардин (основная часть)

Реферат

Отчет страниц.
Ключевые слова: грид, поток задач, многошаговые задания, система управления заданиями, программные интерфейсы, интерфейсы пользователя, суперкомпьютер.
Объектом исследования является географически-распределенная грид-инфраструктура с суперкомпьютерами в качестве ресурсных центров.

Цель данного промежуточного этапа НИР — разработка методов эффективного решения задач, обработки, хранения, передачи и защиты информации с использованием прототипов программного обеспечения, программных интерфейсов и интерфейсов пользователя в рамках разработанной архитектуры и с использованием алгоритмов запуска многошаговых заданий, разработанных на предыдущих этапах.
Проведенные работы соответствуют мировому уровню разработок в данной области исследований.
Содержание

1. Введение 8

2. Выявление необходимости проведения экспериментов для подтверждения достижимости параметров работы системы. 9

2.1. Требования к сервису запуска многошаговых заданий. 9

2.2. Требования к функциональным характеристикам сервиса запуска многошаговых заданий. 10

3. Разработка программы и методики экспериментальных исследований, подготовка тестового полигона. 11

3.1. Состав и порядок испытаний. 11

3.1.1. Технические средства, используемые во время испытаний. 11

3.1.2. Программные средства, используемые во время испытаний. 12

3.1.3. Условия проведения испытаний. 12

3.1.4. Порядок проведения испытаний. 13

3.2. Методы испытаний первого этапа. 13

3.2.1. Проверка взаимодействия с информационной системой грида. 13

3.2.2. Проверка возможности доступа к информации о запущенных заданиях и задачах из учетных журналов. 14

3.2.3. Проверка возможности запуска заданий пользователями разных виртуальных организаций. 15

3.2.4. Проверка невозможности доступа к сервису при отсутствии сертификатов X.509. 16

3.2.5. Проверка возможности запуска задач на разных грид-шлюзах. 16

3.3. Методы испытаний второго этапа. 17

3.3.1. Проверка возможности обслуживания нескольких виртуальных организаций. 17

3.3.2. Проверка возможности обслуживания тысячи заданий в день. 18

3.3.3. Проверка возможности обслуживания одновременно многих пользователей. 18

3.3.4. Проверка обеспечения конфиденциальности работы каждого коллектива пользователей. 19

4. Проведение тестовых экспериментов, обработка данных, сопоставление результатов тестирования с параметрами, определенными в Техническом задании. 21

4.1. Цель экспериментальных исследований. 21

4.2. Методы экспериментальных исследований 21

4.3. Результаты экспериментальных исследований. 21

5. Заключение. 23


Определения
Грид – (от английского grid – сеть) географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила.

Используемые сокращения


DN

Distinguished Name

FQAN

Fully Qualified Attribute Name

GRAM

Grid Resource Allocation Manager (менеджер выделения грид-ресурсов)

HTTP

Hypertext Transfer Protocol

ISO

International Organisation for Standartization

JSON

JavaScript Object Notation

REST

Representational State Transfer

SOAP

Simple Object Access Protocol

TLS

Transport layer security

URI

Uniform Resource Identifier

URL

Uniform Resource Locator

UTC

Coordinated Universal Time

VOMS

Virtual Organization Management Service

WS

Web Service (веб-сервис)

WSRF

Web Service Resource Framework

ВЭ

Вычислительный элемент

ГридННС

Грид национальной нанотехнологической сети

ГС

Грид-сервис

ИПП

Интерфейс прикладного программирования.

МГУ

Московский Государственный Университет им. М.В.Ломоносова

НИИЯФ МГУ

Научно-исследовательский институт ядерной физики МГУ

НИР

научно-исследовательские работы

ОС

Операционная система.

ПО

Программное Обеспечение

ППО

Промежуточное программное обеспечение.

СЗМЗ

Сервис запуска многошаговых заданий.


1.Введение


Основными задачами 3 этапа научно-исследовательских работ по договору от 01 октября 2009 г. № НОЦ-3/2009/201-09 являлись разработка методов эффективного решения задач, обработки, хранения, передачи и защиты информации с использованием прототипов программного обеспечения, программных интерфейсов и интерфейсов пользователя в рамках разработанной архитектуры и с использованием алгоритмов запуска многошаговых заданий, разработанных на предыдущих этапах.

Работа проводится в рамках Государственного контракта № 02.740.11.0388 от 30 сентября 2009 г. «Суперкомпьютерные технологии для решения задач обработки, хранения, передачи и защиты информации».

2.Выявление необходимости проведения экспериментов для подтверждения достижимости параметров работы системы.


Целью третьего этапа является разработка методов эффективного решения задач с использованием грид-технологий, а так же решение связанных с этим проблем: обработки, хранения, передачи и защиты информации.

Согласно требованиям технического задания, программное обеспечение сервиса запуска многошаговых заданий должно обеспечить возможность адаптации сервиса к различным средствам создания сценариев для эффективного использования имеющейся грид-инфраструктуры.

Для проверки этих требований, помимо теоретических исследований существующих грид-инфраструктур, проведенных в рамках первого и второго этапа данных НИР, необходима постановка практических экспериментов и проведение испытаний прототипов программ сервиса запуска многошаговых заданий, созданных в рамках второго этапа работ.

Для проведения этих экспериментальных исследований необходимо разработать архитектуру тестового полигона, который позволил бы имитировать ключевые особенности современных грид-инфраструктур на специально выделенных ресурсах. Это позволит провести исследования не нарушая работы производственного грида.

В процессе испытаний необходимо проверить базовую функциональность сервиса. А именно, запуск задач и заданий, правильность взаимодействия сервиса с другими компонентами грида, работоспособность механизмов аутентификации и авторизации, а так же протестировать нагрузочные характеристики сервиса.

На данном этапе разработана программа и методика экспериментальных исследований и проведена подготовка тестового полигона.

Кроме того, необходимо провести тестовые эксперименты, которые помогли бы выявить какие-либо аспекты сервиса, нуждающиеся в доработке перед проведением полного комплекса испытаний.

2.1.Требования к сервису запуска многошаговых заданий.


Сформируем набор требований, выполнение которых необходимо в соответствии с требованиями Технического Задания.

Для эффективного использования имеющейся грид-инфраструктуры сервис запуска многошаговых заданий должен:

  1. Использовать информационную систему грида для получения актуальной информации о состоянии вычислительных ресурсов.

  2. Предоставлять информацию из учетных журналов о запущенных заданиях для внешних систем мониторинга и учета.

  3. Использовать цифровые сертификаты X.509 для аутентификации пользователей.

  4. Использовать прокси-сертификаты с некритическими расширениями системы управления виртуальными организациями для авторизации использования ими компьютерных ресурсов.

  5. Обеспечивать запуск задач на грид-шлюзах, подсоединенных к высокопроизводительным вычислительным ресурсах, в том числе и задач требующих использование технологий параллельных вычислений.

2.2.Требования к функциональным характеристикам сервиса запуска многошаговых заданий.


Помимо выполнения основных требований из раздела 2.1, необходима также проверка следующих функциональных требований. Сервис запуска многошаговых заданий должен:

  1. обслуживать несколько виртуальных организаций;

  2. обрабатывать несколько тысяч заданий в день;

  3. обслуживать одновременно нескольких пользователей;

  4. обеспечить конфиденциальность работы каждого коллектива пользователей.



3.Разработка программы и методики экспериментальных исследований, подготовка тестового полигона.


Программа испытаний предусматривает проведение испытаний как отдельного сервиса запуска многошаговых заданий, так и комплексных испытаний работы этого сервиса в условиях, имитирующих ключевые особенности грид-инфраструктур в рамках тестового полигона. При этом производится проверка соответствия характеристик разработанного сервиса требованиям, описанным в разделе 2 настоящего отчета, что обеспечит соответствие сервиса запуска многошаговых заданий требования Технического задания.

3.1.Состав и порядок испытаний.

3.1.1.Технические средства, используемые во время испытаний.


Испытания проводятся на полигоне, подготовленном для проведения испытаний, состоящим из набора компьютеров с установленным программным обеспечением, обеспечивающим функциональные возможности частей программного комплекса сервиса запуска многошаговых заданий и имитации ключевых особенностей современных грид-инфраструктур

Сервис запуска многошаговых заданий должен быть установлен на компьютере с конфигурацией не хуже следующей:

  • Intel-совместимый процессор с тактовой частотой не менее 1 Ггц;

  • оперативная память объемом не менее 1024 Мб;

  • жесткий диск объемом не менее 40 Гб;

  • сетевой адаптер с пропускной способностью не менее 100 Мбит/с.

Допускается использование виртуальной машины вместо компьютера, при условии, что ее характеристики не будут уступать конфигурации компьютера, указанной выше.

Для имитации ключевых особенностей грид-инфраструктур должны использоваться тестовые кластеры («ресурсные центры»), подключенные через грид-шлюзы.

Для проведения испытаний так же необходимы персональные компьютеры, используемый в качестве удаленных терминалов для доступа к сервису запуска многошаговых заданий. Эти компьютеры должны иметь доступ к сети Интернет.

Требования к локальным сетям и каналам связи:

  • минимальная пропускная способность локальной сети, связывающей компьютеры ресурсного центра – 100Мбит/с;

  • минимальная пропускная способность канала связи с сетью Интернет – 10Мбит/с.

3.1.2.Программные средства, используемые во время испытаний.


На компьютере сервиса запуска многошаговых заданий должна быть установлена операционная система CentOS 5 со стандартным набором системных приложений. На персональные компьютеры, используемые в качестве удаленных терминалов для доступа к интерфейсу сервиса запуска многошаговых заданий, должны быть установлены клиентские программы сервиса, грид-инструментария Globus Toolkit (GT4) и веб-браузер. Кроме того, на одном из персональных компьютеров должен быть установлен и настроен сервер GridFTP.

На компьютерах грид-шлюзов должно установлено и настроено программное обеспечение грид-шлюзов, совместимое со стандартными протоколами управления ресурсами в грид WS-GRAM4, GridFTP, WS-RFT4, WS-Delegation4 (например, Globus Toolkit 4).

3.1.3.Условия проведения испытаний.


Испытания сервиса запуска многошаговых заданий должны проводиться в нормальных климатических условиях по ГОСТ 22261-94. Основные общие условия проведения испытаний приведены ниже:

  • температура окружающего воздуха, °С - 20 ± 5;

  • относительная влажность, % - от 30 до 80;

  • атмосферное давление, кПа - от 84 до 106;

  • частота питающей электросети, Гц - 50 ± 0,5;

  • напряжение питающей сети переменного тока, В - 220 ± 4,4.

К проведению испытаний допускается персонал, изучивший документацию сервиса запуска многошаговых заданий.

Во время проведения испытаний необходимо соблюдать правила техники безопасности при обращении с компьютерами.

При проведении испытаний необходимо соблюдение требований безопасности, установленных ГОСТ 12.2.007.0–75, ГОСТ 12.2.007.3–75, «Правилами техники безопасности при эксплуатации электроустановок потребителей», и «Правилами технической эксплуатации электроустановок потребителей».

3.1.4.Порядок проведения испытаний.


Испытания проводятся в два этапа:

  1. Испытания программных компонентов сервиса запуска многошаговых заданий и их взаимодействия с грид-инфраструктурой.

  2. Испытания функциональных характеристик сервиса запуска многошаговых заданий

Перечень проверок на первом этапе испытаний:

  1. Проверка взаимодействия с информационной системой грида.

  2. Проверка возможности доступа к информации о запущенных заданиях из учетных журналов.

  3. Проверка возможности запуска заданий пользователями разных виртуальных организаций.

  4. Проверка невозможности доступа к сервису при отсутствии сертификатов X.509.

  5. Проверка возможности запуска задач на грид-шлюзах, подключенных по крайней мере к двум различным тестовым кластерам, работающим под управлением разных систем пакетной обработки заданий.

Перечень проверок на втором этапе испытаний:

  1. Проверка возможности обслуживания нескольких виртуальных организаций.

  2. Проверка возможности обслуживания тысячи заданий в день.

  3. Проверка возможности обслуживания одновременно многих пользователей.

  4. Проверка обеспечения конфиденциальности работы каждого коллектива пользователей.

3.2.Методы испытаний первого этапа.


В описании приведенных ниже методик используются следующие предположения. Все команды и ожидаемый вывод этих команд приведены моноширинным шрифтом. Вводимые пользователем команды начинаются с символа приглашения ввода («$»). Если это не оговорено отдельно, то все команды необходимо выполнять на машине интерфейса пользователя. Последняя цифра подраздела соответствует номеру в списке проверок, указанных в первой части раздела 3.1.4.

3.2.1.Проверка взаимодействия с информационной системой грида.


Методика испытаний.

Для проверки взаимодействия с информационной системой грида используется тестовое описание задания, помещаемое в файл job-matchmake.js, приведенное ниже:

{ "version": 2,

"tasks": [ { "id": "a",

"definition": { "version": 2,

"executable": "/bin/date"

}

}

]

}

Выполняется команда для поиска подходящих ресурсов:

$ pilot-job-matchmake job-matchmake.js

Критерий прохождения испытаний.

Поскольку в требованиях задания не указаны специфические требования к ресурсам, сервис должен вернуть список всех известных ему грид-ресурсов, получаемый из информационной системы грида, таким образом продемонстрировав взаимодействие с информационной системой грида.

Испытания считаются пройденными, если список ресурсов, возвращенный сервисом запуска многошаговых заданий перечисляет ресурсы обоих тестовых кластеров.

3.2.2.Проверка возможности доступа к информации о запущенных заданиях и задачах из учетных журналов.


Методика испытаний.

Для проведения испытаний необходимо запустить следующее тестовое задание, описание которого необходимо поместить в файл job-logs.js:

{ "version": 2,

"tasks": [ { "id": "a",

"children": [ "b" ],

"definition": { "version": 2,

"executable": "/bin/date"

}

},

{ "id": "b",

"children": [ "c" ],

"definition": { "version": 2,

"executable": "/bin/true"

}

},

{ "id": "c",

"definition": { "version": 2,

"executable": "/bin/false"

}

}

]

}

Выполняется команда для запуска задания:

$ pilot-job-submit job-logs.js

Затем необходимо проводить периодическую проверку состояния задания, используя идентификатор задания, возвращенный предыдущей командой. Для этого необходимо запускать команду (необходимо заменить строку https://tb01.ngrid.ru:5053/jobs/qCTvzu7l/ на реальный идентификатор задания):

$ pilot-job-info -v https://tb01.ngrid.ru:5053/jobs/qCTvzu7l/

Задание должно завершиться сбоем. После завершения задания необходимо проверить наличие записей о состоянии задач и заданий в учетных журналах сервиса, для чего выполняется следующая команда:

pilot-uri-helper https://pilot:5053/v2/accounting/period/20101101000000-current/

Здесь необходимо заменить https://pilot:5053/ на адрес тестируемого сервиса запуска многошаговых заданий, а 20101101000000 на реальные дату и время начала проведения настоящих испытаний во временном поясе UTC.

Критерий прохождения испытаний.

Испытания считаются пройденными, если сервис предоставил записи из учетных журналов, содержащие информацию об успешном запуске и выполнении первых двух задач задания, а так же о не успешном выполнении третьей задачи задания и всего задания в целом. Записи так же должны содержать правильную информацию о пользователе и виртуальной организации, от имени которых осуществлялся запуск задания.

3.2.3.Проверка возможности запуска заданий пользователями разных виртуальных организаций.


Методика испытаний.

Для проведения испытаний используется описание задания из раздела 3.2.1. Два пользователя, состоящие в различных виртуальных организациях, должны независимо друг от друга выполнить команду:

$ pilot-job-submit job-matchmake.js

После этого необходимо проверять статус выполнения задания, дождавшись его успешного завершения, при помощи следующей команды (необходимо заменить строку https://tb01.ngrid.ru:5053/jobs/aKqwn3lj/ на реальный идентификатор задания):

$ pilot-job-info -v https://tb01.ngrid.ru:5053/jobs/aKqwn3lj/

Критерий прохождения испытаний.

Испытания считаются пройденными, если оба тестовых задания были успешно запущены, и успешно завершили свое выполнение.

3.2.4.Проверка невозможности доступа к сервису при отсутствии сертификатов X.509.


Методика испытаний.

Для проведения испытаний используется описание задания из раздела 3.2.1. Необходимо запустить тестовое задание, выполнив команду:

$ pilot-job-submit job-matchmake.js

После этого необходимо проверить статус выполнения задания, убедившись наличие доступа с использованием сертификата (необходимо заменить строку https://tb01.ngrid.ru:5053/jobs/okk8Ikar/ на реальный идентификатор задания):

$ pilot-job-info -v https://tb01.ngrid.ru:5053/jobs/okk8Ikar/

Затем необходимо попробовать получить доступ к информации о состоянии задания при помощи клиентского приложения, поддерживающего доступ по протоколу HTTPS, но не имеющего доступа к сертификату пользователя. Использовать для этих целей интерфейс командной строки СЗМЗ невозможно, так как все программы этого интерфейса отказываются посылать запросы к сервису при отсутствии сертификата пользователя. Поэтому, в качестве такого приложения используется обычный веб-браузер, в котором предварительно проверено отсутствие каких-либо пользовательских сертификатов. Необходимо ввести адрес задания в строку URL браузера, и попробовать открыть страницу.

Критерий прохождения испытаний.

Испытания считаются пройденными, если браузер вернул сообщение об ошибке, свидетельствующее о невозможности продолжения работы без клиентского сертификата X.509.

3.2.5.Проверка возможности запуска задач на разных грид-шлюзах.


Методика испытаний.

Для проведения испытаний необходимо подготовить следующее тестовое задание, описание которого необходимо поместить в файл job-targeted.js:

{ "version": 2,

"tasks": [ { "id": "a",

"definition": { "version": 2,

"executable": "/bin/hostname",

"stdout": "gsiftp://host/path/target.txt",

"requirements": { "hostname": ["TESTHOST"] }

}

}

]

}

На основе этого файла-шаблона необходимо создать отдельные описания заданий job-targeted1.js и job-targeted2.js, в которых заменить строку TESTHOST на адреса грид-шлюзов, доступных на тестовом полигоне, а путь файла gsiftp://host/path/target.txt на путь, содержащий адрес используемого на полигоне сервера GridFTP, а так же target1.txt и target2.txt для первого и второго задания соответственно.

После формирования тестовых заданий, необходимо осуществить их запуск командами:

$ pilot-job-submit job-targetd1.js

$ pilot-job-submit job-targeted2.js

После запуска необходимо убедиться в успешном завершении выполнения заданий.

Критерий прохождения испытаний.

Испытания считаются пройденными, если после успешного завершения заданий на сервере GridFTP созданы файлы target1.txt и target2.txt, содержащие имена машин, соответствующие ресурсам, шлюзов, которые указывались в описании тестовых заданий.

3.3.Методы испытаний второго этапа.

3.3.1.Проверка возможности обслуживания нескольких виртуальных организаций.


Методика испытаний

Испытания проводятся по методике испытаний возможности запуска заданий пользователями разных виртуальных организаций (раздел 3.2.3).

Критерий прохождения испытаний

Испытания считаются пройденными, если запуски заданий пользователями из нескольких виртуальных организаций оказались успешными, а так же задания были успешно отправлены на выполнение на грид-шлюзы.

3.3.2.Проверка возможности обслуживания тысячи заданий в день.


Методика испытаний

Для проведения испытаний используется описание задания из раздела 3.2.1. Производится очистка всех заданий пользователя и запуск 2000 заданий с интервалами в 10 секунд при помощи следующих команд:

$ pilot-cancel-my-jobs

$ rm -f jobids.txt

$ for i in `seq 1 2000` ; do pilot-job-submit -q job-matchmake.js >> jobids.txt ; sleep 10s ; done

Затем с интервалами в 30 минут проверяется состояние всех запущенных заданий, с сортировкой по результатам выполнения при помощи команд:

$ rm -f results.txt

$ for jobid in `cat jobids.txt` ; do pilot-job-status -q | cut -d ' ' -f 1 >> results.txt ; done

$ sort results.txt | uniq -c

Испытания завершаются, когда все 2000 заданий переходят в одно из финальных состояний («finished» или «aborted»), либо когда более 1000 заданий переходят в состояние «finished»

Критерий прохождения испытаний

Испытания считаются пройденными, если более 1000 заданий завершилось успешно (находятся в состоянии «finished») и от начала проведения испытаний до этого момента прошло менее 24 часов.

3.3.3.Проверка возможности обслуживания одновременно многих пользователей.


Методика испытаний

Для проведения испытаний используется описание задания из раздела 3.2.1. Следующие операции должны выполнять как минимум 2 пользователя с различных рабочих станций одновременно. Для удобства проведения испытаний рекомендуется расположить рабочие станции пользователей, участвующих в проведении испытания, в одном общем помещении.

Сначала каждый пользователь производит очистку всех заданий и удаление промежуточных при помощи команд:

$ pilot-cancel-my-jobs

$ rm -f jobids.txt

После этого все пользователи, участвующие в испытании, набирают (но не запускают) следующие команды:

$ for i in `seq 1 20` ; do pilot-job-submit -q job-matchmake.js >> jobids.txt ; done

По сигналу, все пользователи одновременно запускают выполнение данных команд. Поскольку длительность выполнения этих команд превышает несколько секунд, гарантируется то, что сервис выполнения многошаговых заданий будет обслуживать одновременно многих пользователей.

Затем с интервалами в 30 минут проверяется состояние всех запущенных заданий, с сортировкой по результатам выполнения при помощи команд:

$ rm -f results.txt

$ for jobid in `cat jobids.txt` ; do pilot-job-status -q | cut -d ' ' -f 1 >> results.txt ; done

$ sort results.txt | uniq -c

Испытания завершаются, когда задания всех пользователей переходят в одно из финальных состояний («finished» или «aborted»).

Критерий прохождения испытаний

Испытания считаются пройденными, если ни один из пользователей, участвующих в испытаниях, не получал сообщений об отказе обслуживания сервисом в течение всего испытания.

3.3.4.Проверка обеспечения конфиденциальности работы каждого коллектива пользователей.


Методика испытаний

Для проведения испытаний используется описание задания из раздела 3.2.1. В испытании участвуют 2 пользователя, работающие за различными рабочими станциями. Для удобства проведения испытаний рекомендуется расположить рабочие станции пользователей, участвующих в проведении испытания, в одном общем помещении.

Каждый пользователь запускает выполнение задания, выполнив команду:

$ pilot-job-submit job-matchmake.js

После этого идентификатор задания сообщается другому пользователю, участвующему в испытании с использованием каких-либо каналов связи (например, электронной почты), или устно.

Получив идентификатор чужого задания, пользователь должен попытаться получить информацию о состоянии задания, выполнив команду (необходимо заменить строку https://tb01.ngrid.ru:5053/jobs/MnqnwIIk/ на полученный от другого пользователя идентификатор задания):

$ pilot-job-info -v https://tb01.ngrid.ru:5053/jobs/MnqnwIIk/

Критерий прохождения испытаний

Испытание считается пройденным, если пользователь получил отказ при попытке проверить состояние задания, запущенного другим пользователем.

4.Проведение тестовых экспериментов, обработка данных, сопоставление результатов тестирования с параметрами, определенными в Техническом задании.


Для начальной проверки возможности эффективного решения задач, обработки, хранения, передачи и защиты информации с использованием с использованием современных грид-систем были проведены тестовые эксперименты, использующие тестовый макет грид-среды и сервиса запуска многошаговых заданий.

4.1.Цель экспериментальных исследований.


Целью экспериментальных исследований прототипа является исследование функциональных характеристик инструментальной среды и демонстрация эффективности предложенных подходов, механизмов и технологий. Анализируются особенности работы высокопроизводительных приложений, построенных на базе разработанного прототипа инструментальной среды и выполняющихся в грид. Оценивается качество работы приложений, созданных с использованием прототипа инструментальной среды для автоматизации процесса проектирования и разработки многошаговых приложений в грид-сети.

4.2.Методы экспериментальных исследований


В процессе экспериментальных исследований проводится массовый (последовательный) запуск многошагового приложения. Для упрощения многошаговое приложение содержит только одну вычислительную задачу расчета поля электронной плотности методом DFT (Density-Functional Theory). Расчеты выполнялись для трех разных входных данных.

4.3.Результаты экспериментальных исследований.


В таблице 1 приведены результаты статистической обработки измерений общего времени исполнения многошагового приложения на базе данного сервиса в рамках экспериментального грид-полигона.

Пример расчета

Порядковые статистики

Моменты

min

25%

50%

75%

max







Тест1 (N=12)

152.84

175.09

178.11

422.09

439.13

237.43

111.59

0.47

Тест2 (N=18)

232.66

243.38

472.67

485.89

492.48

374.14

121.42

0.32

Тест3 (N=26)

479.11

485.09

725.39

735.63

763.39

626.47

128.13

0.20

Таблица 1: Статистические характеристики общего времени исполнения (с) многошагового приложения на экспериментальном грид-полигоне

На рисунке 1 приведены графики ядерных оценок плотности распределения собственного времени исполнения пакета (рисунок 1а) и общего времени исполнения многошагового приложения на его основе на экспериментальном грид-полигоне (рисунок 1б).

frame1

Из рисунка 1а видно, что распределения собственного времени исполнения достаточно компактные и однопиковые; между собой они не пересекаются. Однако при переходе к исполнению многошагового приложения, распределение общего времени исполнения становится более размытым и двухпиковым, при этом расстояние между пиками не меняется с увеличением трудоемкости задачи.

Дополнительное исследование показало, что второй пик распределения, связан с повторными попытками запуска задач при возникновении ошибки на ресурсе. Такое поведение сервиса предназначено для повышения надежности работы.

5.Заключение.


В процессе выполнения работ по второму третьему этапу были получены следующие результаты:

  1. Составлен детальный набор требований, выполнение которых необходимо для достижения параметров работы системы, определенных в Техническом задании.

  2. Разработана программа и методика экспериментальных исследований, а так же требования к составу и параметрам полигона.

  3. Проведены предварительные тестовые эксперименты по обработке данных с использованием прототипов программного обеспечения, программных интерфейсов и интерфейсов пользователя в рамках разработанной архитектуры и с использованием алгоритмов запуска многошаговых заданий, разработанных на предыдущих этапах.


Добавить документ в свой блог или на сайт

Похожие:

Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет №2 о научно-исследовательской работе по теме: «Грид-технологии»
Ключевые слова: грид, поток задач, многошаговые задания, система управления заданиями, программные интерфейсы, интерфейсы пользователя,...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе
Развитие, исследование и внедрение средств высокопроизводительных вычислений на основе технологий Грид с поддержкой гетерогенных,...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе
Гост 32-2001. Межгосударственный стандарт. Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе
Межгосударственный стандарт (гост 32-2001). Отчет о научно-исследовательской работе. Структура и правила оформления (редакция 2005...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОбщие положения отчет
Отчет о научно-исследовательской работе (нир) документ, который содержит систематизированные данные о научно-исследовательской работе,...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно- исследовательской работе по теме: «сортоизучение...
Департамент научно-технической политики и образования фгбоу впо белгородская государственная сельскохозяйственная
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе «определение доступности...
Ключевые слова: отчет, научно-исследовательская работа, заключительный отчет, кинопоказ, доступность, качество, цифровые технологии,...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconРеферат Отчет о научно-исследовательской работе состоит
Отчет о научно-исследовательской работе состоит из 33 рисунков, 8 разделов, 12 подразделов, 9 формул, 31 источника. Общий объем 48...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе фгоу впо «Кемеровский гсхи»
Ключевые слова: наука, инновации, инновационный потенциал, инновационный проект, финансирование научно-исследовательской работы,...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе по теме: «Разработка научно...
«Институт законодательства и сравнительного правоведения при Правительстве Российской Федерации» (ИЗиСП)
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе по теме «Разработка принципов...
«Российский научно-исследовательский институт культурного и природного наследия имени Д. С. Лихачева»
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе по теме: «Совершенствование...
Агрохолдинг, интеграция, экономическая эффективность, рейтинг, функциональный анализ
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет по научно-исследовательской работе студентов экономического факультета за 2012-2013 г
Научно-исследовательская работа студентов является действенным средством повышения качества подготовки специалистов и проводится...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе
Двухфакторная многокритериальная методика аттестации научно-педагогических работников спбгу на основе показателей эффективности их...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconНаучно-исследовательская работа это научный отчет о выполненной работе,...
Цель: повторить и обобщить зун по теме «Агрегатные состояния вещества»; сформировать представления о фазе вещества и фазового перехода;...
Отчет №3 о научно-исследовательской работе по теме: «Грид-технологии» iconОтчет о научно-исследовательской работе по теме «Экспериментально-теоретическое...
Фгбоу впо «Белгородская государственная сельскохозяйственная академия им. В. Я. Горина»


Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
100-bal.ru
Поиск