Отчет о научно-исследовательской работе исследования в области построения системы управления информационным обменом сети корпоративных порталов этап 1 «Анализ и исследование систем управления информационным обменом в сетях обработки данных»

Скачать 1.1 Mb.

Название	Отчет о научно-исследовательской работе исследования в области построения системы управления информационным обменом сети корпоративных порталов этап 1 «Анализ и исследование систем управления информационным обменом в сетях обработки данных»
страница	7/15
Дата публикации	09.01.2015
Размер	1.1 Mb.
Тип	Отчет

100-bal.ru > Информатика > Отчет

1 2 3 4 5 6 7 8 9 10 ... 15

2.5Взаимодействие массивов данных. Хранилища данных

2.5.1Принципы организации хранилища

Хранилище данных – большая предметно-ориентированная информационная корпоративная база данных, специально разработанная и предназначенная для подготовки отчётов, анализа бизнес-процессов с целью поддержки принятия решений в организации [45]. Строится на базе клиент-серверной архитектуры, реляционной СУБД и утилит поддержки принятия решений.

Типичные представители программных продуктов этой категории: SAP Business Warehouse (SAP), Informatica. [45]

Принципы организации хранилища:

1 Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют;

2 Интегрированность. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса;

3 Некорректируемость. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются;

4 Зависимость от времени. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.

2.5.1.1Конструирование хранилищ данных

Существуют два архитектурных направления – нормализованные хранилища данных и размерностные хранилища [47].

В нормализованных хранилищах данные находятся в предметно ориентированных таблицах третьей нормальной формы – витрины данных. Нормализованные хранилища характеризуются как простые в создании и управлении, недостатки нормализованных хранилищ – большое количество таблиц как следствие нормализации, из-за чего для получения какой-либо информации нужно делать выборку из многих таблиц одновременно, что приводит к ухудшению производительности системы.

Размерностные хранилища используют схему «звезда» или «снежинка». При этом в центре звезды находятся данные (таблица фактов), а размерности образуют лучи звезды. Различные таблицы фактов совместно используют таблицы размерностей, что значительно облегчает операции объединения данных из нескольких предметных таблиц фактов. Таблицы данных и соответствующие размерности образуют архитектуру «Шина». Основным достоинством размерностных хранилищ является простота и понятность для разработчиков и пользователей, также, благодаря более эффективному хранению данных и формализованным размерностям, облегчается и ускоряется доступ к данным, особенно при сложных анализах. Основным недостатком является более сложные процедуры подготовки и загрузки данных, а также управление и изменение размерностей данных.

Хранилища и витрины данных создаются с применением специализированных средств. К этим средствам относятся:

средства проектирования хранилищ данных;
средства извлечения, преобразования и загрузки данных;
готовые предметно-ориентированные хранилища данных.

Средства проектирования хранилищ данных входят в состав реляционных и многомерных СУБД таких производителей как Microsoft, Oracle, IBM, Sybase и других [47]. После описания структур хранения данных специальными системными утилитами выполняется их генерация. Такой подход к созданию хранилища данных позволяет построить индивидуальное хранилище или витрину данных. В тоже время такой подход препятствует переносу наработок от одного проекта к другому.

ETL-средства (extraction, transformation, loading) – средства извлечения, преобразования и загрузки данных обеспечивают три основных процесса, используемые при переносе данных из одного приложения или системы в другие. ETL-средства извлекают информацию из исходной базы данных, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в нее преобразованную информацию. Эти средства обычно входят в состав реляционных и многомерных СУБД. Однако существуют и специализированные системы, реализующие только ETL-функции. Классической ETL-системой является, например, продукт Ascential DataStage компании Ascential Software [45].

Готовые предметно-ориентированные хранилища данных – самый надежный способ построить хранилище данных в ограниченные сроки. Готовые к эксплуатации хранилища данных характеризуются наличием в них средств построения хранилищ/витрин данных, взаимосвязанных посредством единого словаря метаданных. К ним относятся – процедуры извлечения, преобразования, очистки и загрузки данных, функции генерации баз данных и процедур обработки, механизмы построения выборок данных, интерфейсы просмотра и анализа данных. Ограничением в применении готовых хранилищ данных является их предметная ориентация.

2.5.1.2Методология построения массивов данных

Методология построения массивов данных включает в себя последовательность взаимосвязанных этапов [49].

Сбор требований к взаимодействию данных в системе.

На стадии сбора требований осуществляется определение круга пользователей, связанных с решаемой на данном этапе проблемой, и их опрос. Параллельно осуществляется анализ имеющихся источников информации и способов доступа к ним. В результате этой стадии конкретизируются:

структура данных в источниках;
основные предметные области, связанные с задачей;
требования пользователей.

На этой же стадии вводится четко определенные и согласованные со всеми участниками проекта критерии завершения проекта или его очередной итерации.

Проектирование хранилища данных.

На основе информации, собранной на предыдущих стадиях, производится анализ и проектирование структуры будущей системы, в частности, на этой стадии формируются:

логическая и физическая модели данных;
схемы процессов загрузки;
модели приложений.

Разработка хранилища данных.

Эта стадия включает следующие шаги:

разработка процедур начальной загрузки;
проведение начальной загрузки;
разработка процедур регулярной загрузки;
разработка приложений;
проведение тестовых испытаний.

2.5.1.3Метаданные

Метаданные (или данные о данных) являются ключевым элементом в хранилище данных. Именно благодаря использованию метаданных хранилище становится гибким и удобным средством доставки информации для поддержки принятия решений. Они содержат полное описание логической и физической структуры данных, всех процессов загрузки данных, специализированных приложений для анализа и представления данных в определенных областях, а также дополнительную информацию обо всех элементах хранилища, помогающую легко ориентироваться в его сложной структуре [49].

Метаданными явно или неявно пользуются все группы пользователей хранилища, начиная с наименее подготовленных конечных пользователей, приложения для которых управляются метаданными, и кончая разработчиками и администратором хранилища.

Не удивительно поэтому, что средствам работы с метаданными уделяется такое серьезное внимание. По функциональным требованиям эти средства можно разделить на две основные группы: средства просмотра и поиска и средства создания и управления.

Для осуществления просмотра и поиска метаданных хранилища SAS Institute предлагает продукт MetaSpace Explorer, который предназначен для конечных пользователей и имеет следующую функциональность:

навигация по объектам метаданных хранилища в различных разрезах (предметная область, тип, владелец и др.);
навигация по распределенному хранилищу в разрезе серверов;
поиск объектов хранилища данных по заданным критериям;
отображение метаданных, связанных с объектами.

2.5.2Типовые решения, используемые при построении систем распределенной обработки и хранения информации

В системах распределённого сбора, обработки и хранения информации источники данных структурно делят на две группы: транзакционные источники данных и аналитические базы данных. Вторую группу в свою очередь можно разделить на хранилища данных, витрины данных [51].

Транзакционные источники данных.

Данные в систему могут заноситься как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные базы данных. Транзакционных баз данных в организации может быть несколько. Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, то для анализа таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические базы данных.

Аналитические базы данных.

Аналитические базы данных, будь то хранилища данных или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты анализа. При этом информационно-аналитическая система среднего и крупного предприятия должна обеспечивать пользователям доступ к аналитической информации, защищенной от несанкционированного использования и открытой как через внутреннюю сеть предприятия, так и пользователям сети интранет и Интернет. Таким образом, архитектура современной информационно-аналитической системы содержит следующие уровни.

1 Сбор и первичная обработка данных. К этому уровню архитектуры информационно-аналитических систем относятся источники данных, как правило, именуемые транзакционными или операционными источниками (базами) данных, являющиеся частью так называемых OLTP-систем (online transactional processing). Транзакционные базы данных включают в себя источники данных, ориентированные на фиксацию результатов повседневной деятельности предприятия. Требования, предъявляемые к транзакционным базам данных, обусловили их следующие отличительные особенности: способность быстро обрабатывать данные и поддерживать высокую частоту их изменения, ориентированность, как правило, на обслуживание одного процесса, а не всей деятельности предприятия в целом. Транзакционные базы данных отлично справляются с большим объемом повседневной информации, которая должна рутинно обрабатываться каждый день, но не позволяют получить общую картину положения дел в организации в целом и редко могут служить источниками для проведения комплексного анализа. Итак, совокупность транзакционных источников данных образует нижнее звено архитектуры информационно-аналитической системы любой организации.

2 Извлечение, преобразование и загрузка данных. Процесс извлечения, преобразования и загрузки данных поддерживается так называемыми ETL-инструментами (extraction, transformation, loading), предназначенными для извлечения данных из различных транзакционных источников нижнего уровня, их преобразования и консолидации, а также загрузки в целевые аналитические базы данных – хранилища данных и витрины данных. На этапе преобразования устраняется избыточность данных, проводятся необходимые вычисления и агрегация. Трехступенчатый процесс извлечения, преобразования и загрузки должен осуществляться на основе установленного регламента.

3 Складирование данных. К третьему уровню архитектуры информационно-аналитических систем относятся источники данных, которые называют хранилищами данных (от англ. Data Warehouse). Хранилища данных включают в себя источники данных, ориентированные на хранение и анализ информации. Такие источники могут объединять информацию из нескольких транзакционных систем и позволяют анализировать ее в комплексе с применением современных программных инструментов делового анализа данных. Согласно определению родоначальника идеи складирования данных Б. Инмона [47], хранилище данных является предметно-ориентированной, интегрированной, некорректируемой, зависимой от времени коллекцией данных, предназначенной для поддержки принятия управленческих решений. Характерными особенностями хранилищ данных являются: относительно редкая корректируемость большинства данных, обновляемость данных на периодической основе, единый подход к поименованию и хранению данных вне зависимости от их организации в исходных источниках. Хранилище данных, являясь одним из главных звеньев архитектуры информационно-аналитической системы любой средней или крупной организации, выступает в качестве основного источника данных для всестороннего анализа всей имеющейся в организации информации.

4 Представление данных в витринах данных. К четвертому уровню архитектуры информационно-аналитических систем относятся источники данных, называемые витринами данных (data marts), предназначенные для проведения целевого делового анализа. Витрины данных строятся, как правило, на основе информации из хранилища данных, но могут также формироваться из данных, взятых непосредственно из транзакционных систем, когда хранилище данных в организации по каким-либо причинам не реализовано. По типу хранения информации витрины подразделяются на реляционные и многомерные. Витрины первого типа организуются в виде реляционной базы данных со схемой «звезда», где центральная таблица, таблица фактов, предназначенная в основном для хранения количественной информации, связана с таблицами-справочниками. Многомерные витрины организуются в виде многомерных баз данных OLAP (Online Analytical Processing), где справочная информация представляется в виде измерений, а количественная - в виде показателей. Информация в многомерной витрине данных представляется в терминах бизнеса в виде, максимально доступном конечным пользователям, что позволяет существенно снизить время на получение требуемой для принятия решений информации. С точки зрения пользователя, отличие витрин данных от хранилища данных заключается в том, что хранилище данных соответствует уровню всей организации, а каждая витрина обычно обслуживает уровень не выше отдельного подразделения и иногда может создаваться для индивидуального использования, отличаясь достаточно узкой целевой специализацией. Отличие витрин данных от транзакционных баз данных заключается в том, что первые служат для удовлетворения потребностей конечных пользователей, не являющихся профессиональными программистами: аналитиков, менеджеров разных уровней, решающих различные задачи. Транзакционные же базы данных используются в основном операторами, отвечающими за ввод и обработку первичной информации, а не за ее анализ, нацеленный на поддержку принятия решений. Применение витрин данных, многомерных и реляционных, в сочетании с современными инструментами делового анализа данных позволяет превратить просто данные в полезную информацию, на основе которой можно принимать эффективные решения.

5 Анализ данных. К этому уровню архитектуры информационно-аналитической системы организации относятся современные программные средства, именуемые инструментами интеллектуального или делового анализа данных (Business Intelligence Tools), или BI-инструменты. BI-инструменты позволяют управленческому звену организации проводить всесторонний анализ информации, помогают успешно ориентироваться в больших объемах данных, анализировать информацию, делать на основе анализа объективные выводы и принимать обоснованные решения. Инструменты интеллектуального анализа данных используются конечными пользователями для доступа к информации, ее визуализации, многомерного анализа и формирования как предопределенных по форме и составу, так и произвольных отчетов. В качестве входной информации для анализа выступают не столько «сырые» данные из транзакционных систем, сколько заранее обработанные данные из хранилища или представленные в витринах данных.

6 Web-портал. В настоящее время российские предприятия и организации все активнее начинают внедрять у себя различные Интернет-технологии. Проведение интеллектуального анализа данных с применением программных решений не только в локальной среде, но и в среде интранет и интернет, открывает аналитикам новые возможности работы с данными. Современные тенденции развития архитектуры информационно-аналитической системы базируются на применении Интернет-технологий. Традиционный вид архитектуры информационно-аналитической системы дополнился Web-порталом. Возможность доступа к информации через Web-браузер позволяет экономить на затратах, связанных с закупкой и поддержкой настольных аналитических приложений для большого числа клиентских мест. Реализация Web-портала позволяет снабжать аналитической информацией как пользователей внутри организации, так и удаленных пользователей-аналитиков.

2.5.3Технологии хранения и обработки информации

Технологии обработки данных напрямую зависят от технологии хранения, характеристик самих данных и круга задач, стоящих при обработке. Данные, обрабатываемые автоматизированной информационной системой, как правило, принадлежат одной из следующих сфер [48].

1 Сфера детализированных данных. Большинство систем, нацеленных на поиск информации в хранилище, работают с детализированными данными. В большинстве случаев реляционные СУБД справляются с поставленными задачами. Общепризнанным стандартом языка манипулирования реляционными данными является SQL. Информационно-поисковые системы, обеспечивающие интерфейс конечного пользователя в задачах поиска детализированной информации, могут использоваться в качестве надстроек как над отдельными базами данных транзакционных систем, так и над общим хранилищем данных. Системы поиска информации в хранилище используют технологию «Хранилища данных, или Склады данных (Data Warehouse)»;

2 Сфера агрегированных показателей. Комплексный взгляд на собранную в хранилище данных информацию, ее обобщение и агрегация, гиперкубическое представление и многомерный анализ являются задачами систем оперативной аналитической обработки данных (OLAP). В качестве технологии хранения здесь можно или ориентироваться на специальные многомерные СУБД, или оставаться в рамках реляционных технологий. Во втором случае заранее агрегированные данные могут собираться в БД звездообразного вида, либо агрегация информации может производиться непосредственно в процессе сканирования детализированных таблиц реляционной БД без предварительного хранения.

3 Сфера поиска закономерностей в данных. Системы, задачей которых является интеллектуальная обработка данных, ориентированы не на поиск и представление самих данных, а на выработку определённых закономерностей между фрагментами данных. Интеллектуальная обработка производится с помощью технологии интеллектуального анализа данных (ИАД, Data Mining), главными задачами которой являются поиск функциональных и логических зависимостей в накопленной информации, построение моделей и правил, которые объясняют найденные аномалии и/или прогнозируют развитие некоторых процессов.

Некоторые авторы [48] выделяют в отдельную область анализ отклонений. В качестве примера можно привести статистический анализ рядов динамики. Однако, чаще этот тип анализа относят к области закономерностей.

2.5.4Технологии представления информации

Рассмотрим возможности многомерного представления данных мониторинга (реляционное и сетевое представление более очевидны и их анализ и сравнение будет производиться при разработке модели представления данных). По Кодду [49], многомерное концептуальное представление (multi-dimensional conceptual view) представляет собой множественную перспективу, состоящую из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению. Так, измерение Исполнитель может определяться направлением консолидации, состоящим из уровней обобщения «предприятие - подразделение - отдел – служащий». В этом случае становится возможным произвольный выбор желаемого уровня детализации информации по каждому из измерений. Операция спуска (drilling down) соответствует движению от высших ступеней консолидации к низшим. Операция подъема (rolling up) означает движение от низших уровней к высшим.

В СУБД, основанных на многомерном представлении данных, данные организованы не в форме реляционных таблиц, а в виде упорядоченных многомерных массивов:

– гиперкубов (все хранимые в БД ячейки должны иметь одинаковую мерность, то есть находиться в максимально полном базисе измерений);

– поликубов (каждая переменная хранится с собственным набором измерений, и все связанные с этим сложности обработки перекладываются на внутренние механизмы системы).

Использование многомерных БД в системах оперативной аналитической обработки имеет следующие достоинства.

1 В случае использования многомерных СУБД поиск и выборка данных осуществляется значительно быстрее, чем при многомерном концептуальном взгляде на реляционную базу данных, так как многомерная база данных денормализована, содержит заранее агрегированные показатели и обеспечивает оптимизированный доступ к запрашиваемым ячейкам;

2 Многомерные СУБД легко справляются с задачами включения в информационную модель разнообразных встроенных функций, тогда как объективно существующие ограничения языка SQL делают выполнение этих задач на основе реляционных СУБД достаточно сложным, а иногда и невозможным.

С другой стороны, имеются существенные ограничения.

1 Многомерные СУБД не позволяют работать с большими базами данных. К тому же за счет денормализации и предварительно выполненной агрегации объем данных в многомерной базе, как правило, соответствует меньшему объему исходных детализированных данных;

2 Многомерные СУБД по сравнению с реляционными очень неэффективно используют внешнюю память. В подавляющем большинстве случаев информационный гиперкуб является сильно разреженным, а поскольку данные хранятся в упорядоченном виде, неопределенные значения удаётся удалить только за счет выбора оптимального порядка сортировки, позволяющего организовать данные в максимально большие непрерывные группы. Но даже в этом случае проблема решается только частично. Кроме того, оптимальный с точки зрения хранения разреженных данных порядок сортировки скорее всего не будет совпадать с порядком, который чаще всего используется в запросах. Поэтому в реальных системах приходится искать компромисс между быстродействием и избыточностью дискового пространства, занятого базой данных.

Следовательно, использование многомерных СУБД оправдано только при следующих условиях.

1 Объем исходных данных для анализа не слишком велик (не более нескольких гигабайт), то есть уровень агрегации данных достаточно высок.

2 Набор информационных измерений стабилен (поскольку любое изменение в их структуре почти всегда требует полной перестройки гиперкуба).

3 Время ответа системы на нерегламентированные запросы является наиболее критичным параметром.

4 Требуется широкое использование сложных встроенных функций для выполнения кроссмерных вычислений над ячейками гиперкуба, в том числе возможность написания пользовательских функций.