Математико-механический факультет Кафедра системного программирования Решение задач интеграции программных решений в финансовой индустрии
Скачать 398.15 Kb.
|
Решения интеграционных задач в инвестиционных фондахВ предыдущей главе мы рассмотрели те бизнес процессы, которые требуют автоматизации и интеграции между системами инвестиционного фонда. Ниже рассмотрим конкретные задачи интеграции и передоложим способы их решения и технологии, подходящие для реализации. Общей структурой рассматриваемых примеров будет
Задача 1Фонду необходимо отсылать список всех исполненных транзакций за прошедший торговый день своим агентам - администратору фонда и прайм брокеру. Формат файла диктуется принимающей стороной и различен для каждой из компаний, работающей на рынке. Существует отсечка по времени, до какого времени файлы должны быть отправлены компании-агенту, все файлы, отправленные позже установленного времени, обрабатываются с денежным штрафом. Описание решения Хотя в случае небольших фондов компании и готовы принимать файлы по электронной почте, стандартным решением в индустрии является обмен этими файлами через FTP сайты. Администратор фонда или прайм брокер предоставляет фонду аккаунт на своем FTP сайте и определенные инструкции по сохранению файлов (именование файлов, время, папка). Файлы, сохраненные правильным образом, автоматически обрабатываются системами компании агента - например, администратор фонда загружает их в собственную бухгалтерскую систему для расчета позиций фонда-клиента. Таким образом, задача сводится к построению интеграции между системой фонда, обладающей информацией о совершенных за день транзакций, и FTP cайтам нескольких компаний, с которыми фонд работает. А именно, нужно решить две проблемы:
Не будем останавливаться на последнем, поскольку существует великое множество FTP-клиентов, которые легко встроить в какой-то процесс автоматизации. Трансформация данных встречается повсеместно, как только речь заходит об интеграции, поскольку исходные форматы данных любых двух интегрируемых систем будут различаться, за исключением тех случаев, когда производитель систем одна компания или когда системы поддерживают какой-либо стандартный формат (примеров из индустрии финансов не так много: протокол FIX, SWIFT). Рассмотрим более подробно уровни трансформации данных [EIP]:
Данная задача решается в индустрии различными способами - зачастую функциональностью отправки файлов компаниям-агентам обладают системы Portfolio Management или системы построения отчетов. Еще один вариант - передать эту обязанность администратору фонда или сторонней компании специализирующийся на этом (Omgeo). Таким образом, эту задачу редко решает сам фонд самостоятельно, но при этом за них это постоянно решают поставщики программных продуктов для фондов (technology vendors) Стиль интеграции Как видно из описания нашего решения, сама индустрия диктует стиль интеграции - Обмен файлами (File Transfer) [EIP]- способ, при котором приложение производит файл для обработки прочими приложениям, и в свою очередь обрабатывает файлы, произведенные ими. Наиболее простой и старый способ интеграции, безусловно, обладает большим количеством ограничений:
Следующие шаги Вот дополнительные требования, встречающиеся в реально существующих фондах, они некоторым образом меняют и усложняют реализацию нашего решения:
 Один раз построив импорт транзакций между торговыми системы в общую базу данных, мы сможем упростить поддержку процесса отсылки файлов - если нужно добавить нового получателя, то это делается из одной базы данных, кроме этого упрощается построение трансформаций в целом - все они будут построены на основе одной структуры данных. Эту же базу данных можно использовать для других задач - импорт транзакций в бухгалтерскую систему, построение отчетов для использования внутри фонда и т.д. Технологии Поскольку в большинстве случаев необходимо сгенерировать плоский файл с данными по транзакциям (где в каждой строке одна транзакция и вся информация по ней представлена в виде колонок), то обычно используются простые технологии выборки данных и форматирования результата:
Задача 2Компании, поставщики рыночных данных (market data vendors), предоставляют сервисы, позволяющие получить определение и свойства ценной бумаги (security terms and conditions) а также рыночные цены на конец дня (end-of-day prices). Фонду необходимо загружать данные из сервисов нескольких компаний одновременно и распределять эти данные между своими системами. Описание решения Сервисы рыночных данных (таких компаний, как Bloomberg, Thomson Reuters, Interactive Data, MarkIT) устроены схожим образом и, так же как и в предыдущей задаче, основаны на обмене файлами. Различие состоит в том, что сервисы подразумевают режим работы в форме запрос-ответ, а именно
Использование таких средств, как FTP и текстовые файлы, объясняется и тем, что эти сервисы существуют очень давно (с конца 80х годов), и компании обязаны поддерживать обратную совместимость для десятков тысяч клиентов, и тем, что обеспечивают абсолютную независимость платформ (скопировать файл с FTP и обработать текстовый файл может все что угодно). Тем не менее, некоторая модернизация технологий все же происходит - компания Bloomberg, например, сделала реплику своего сервиса Data License в виде Web-Service - Data License Web Services. Помимо режима запрос-ответ (который обычно называется per-security feed), существует режим, при котором вендор данных публикует на клиентском аккаунте файлы с фиксированным набором данных по большому количеству ценных бумаг (например, данные по всем акциям, размещенным на биржах США и Канады). Это режим называется Bulk feed, и не требует запроса от клиента, новые файлы с данными просто публикуются в определенное время на FTP сайте. С одной стороны лицензия такого сервиса стоит существенно больше, с другой стороны, он удобнее и экономичнее большим клиентам (крупным фондам, инвестиционным банкам, которым требуется информация о большом наборе ценных бумаг одновременно) Задачу интеграции с сервисами данных решают и сами фонды самостоятельно, и компании, разрабатывающие продукты для фондов. Фонды, от небольших до весьма крупных, всегда создают простые утилиты, получающие данные необходимые для их системы (и, конечно, такие решения создаются совершенно ad hoc), при этом технологические компании разрабатывают большие продукты для интеграции с вендорами данных и управлению ими (например, Paladyne Security Master, Golden Source, Asset Control) Представим себе, что нам нужно разработать такую интеграцию с нуля. Тогда нам нужно решить следующие задачи:
Технологии Перечисленные задачи обычно решаются инструментами, реализующими Extract, Transform, Load (ETL) технологию. Если целевая система позволяет писать данные напрямую в свою базу данных, то ETL-инструменты эффективно реализуют компонент, обрабатывающий и сохраняющий файлы данных. Таким образом, Extract часть - генерация файла запроса и FTP-клиент может быть реализована в собственном коде, Transform - обработка и маппинг файла и Load - сохранение и обработка ошибок - инструментом ETL (коммерческими, такими как Microsoft SQL Server Integration Services, Oracle Data Integrator, Informatica, SAS Data Integration, или open source - Talend Open Studio, Clover.ETL, Jitterbit). Следующие шаги Мы обсуждали в прошлой главе, что информация о ценных бумагах, необходима всем системам фонда. А раз так, то нам нужно предложить работоспособный вариант, при котором данные из сервиса вендоров получает больше, чем одна система одновременно. Могут ли все системы, использовать одну и ту же базу данных, в которой хранятся ценные бумаги (ту, в которую пишет наш инструмент ETL) - стиль интеграции Shared Database [EIP]? Нет, ни один фонд не разрабатывает все свои системы самостоятельно, а готовые продукты так работать не могут. Тем не менее, я бы предложил промежуточную базу данных, в которую будут загружаться данные из нескольких сервисов данных, а затем уже строить интеграцию между этой базой данных и целевыми системами. Эта схема схожа с той, что мы рассмотрели в задаче об отправке информации о сделках из нескольких систем одновременно. В данном случае она также дает преимущество - мы можем инкапсулировать обработку данных от вендоров в одном механизме, без необходимости дублировать логику для каждой целевой системы. Здесь мы затрагиваем область интеграции существующих сторонних систем между собой для внутренних нужд организации. В нашем случае, нужно построить механизм обмена данными между общей базой ценных бумаг, которую фонд уже построил для себя, и системами сторонних производителей, которым нужны эти данные. В общем же случае, обмен информацией между системами подразумевает решение следующих задач:
Существуют готовые архитектурные решения для решения подобных задач - стиль интеграции Обмен Сообщениями или Messaging [EIP], при котором приложения подключаются к общей системе обмена сообщениями, и обмен данными и вызов функциональности происходит посредством сообщений. Сопровождающие этот стиль шаблоны разработки, Message Endpoint решает первую задачу об адаптерах для систем, Message Channel , Message Router - вторую задачу о передаче данных, Message Translator - отвечает за трансформацию данных, Request-Reply message - последний пункт об интеграции функциональности. При этом существуют коммерческие и open source программные платформы для промышленной интеграции (EAI - Enterprise application integration), которые несут в себе реализацию этих шаблонов - нам остается только разработать наше интеграционное решение на одной из этих платформ. В следующей главе мы рассмотрим реализацию примера такого решения для интеграции системы, публикующей данные об исполненных сделках, и бухгалтерской системы. |
Похожие:
 | Математико-механический факультет Государственное образовательное учреждение высшего профессионального образования | | Обзор современных систем управления бизнес-процессами Агапова Татьяна, математико-механический факультет, 2 курс |
| Математико-механический факультет asmpy ассемблер python compiled (*. pyc ) файлов Государственное образовательное учреждение высшего профессионального образования |  | Санкт-Петербургский Государственный Университет Математико-механический факультет Сергей Николаевич Кучер, проректор краевого государственного образовательного учреждения дополнительного профессионального образования... |
| Санкт-Петербургский государственный университет Математико-механический факультет Министерством образования и науки Российской Федерации. В 2012-2013 учебном году литературное образование в школе на базовом уровне... | | 1. Основные понятия и определения теории анализа и принятия решений... Вводные понятия теории анализа и принятия решений. Области применения. Лицо, принимающее решение (лпр). Альтернативы и критерии в... |
| Кафедра системного программирования Построение риторических деревьев текста на основе машинного обучения в рамках задачи автоматического реферирования | | Юридический факультет Кафедра гражданского и предпринимательского права Понятие финансовой аренды (лизинга) и договора финансовой аренды (лизинга), история развития лизинга |
| Рабочая программа по дисциплине «Операционные системы» Кроме того, целью преподавания является формирование у студентов системного мышления, теоретической и практической базы системного... | | Факультет экономики и управления Кафедра менеджмента Рабочая программа... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки магистра... |
| Презентация «Решение задач с помощью кругов Эйлера». Презентация... Интегрированное занятие математического кружка (математика + информатика) в 5-м классе по теме "Решение задач с помощью кругов Эйлера.... | | Программа дисциплины «Информационные технологии в индустрии гостеприимства и туризме» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 080200. 68 Менеджмент... |
| Программа учебной дисциплины «Финансы, денежное обращение, кредит» Целью данного предмета является изучение основных видов финансовых рынков. При этом развиваются навыки анализа финансовой документации,... | | Программа дисциплины «Сетевые формы организации в индустрии гостеприимства и туризма» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 080200. 68 «Менеджмент»... |
| Реферат по дисциплине "Информационные и коммуникационные технологии... В связи с этим на электронные системы ложится обязанность автоматизации всех процедур работы с документами, а также интеграции совместных... | | Энергетический факультет Механический расчет линии электропередачи напряжением 110 кв с увеличенным сечением провода на металлических опорах |
