Современные автоматизированные технологии обработки разнородных информационных потоков
Акимова Г.П., Богданов Д.С., Мусатов И.В., Пашкин М.А., Солдатов Д.В., Сомин Н.В.
Расширение информационного пространства современного общества, стремительный рост информационных технологий, популяризация сети Интернет, приводят к тому, что человек просто не в состоянии охватить весь набор поступающей информации. Автоматическое определение тематики поступающей информации позволяет фильтровать информационный поток по заранее установленным критериям.
В статье описывается технология обработки информации, поступающей из различных источников, в том числе и из интернет-СМИ, которая обеспечивает автоматизированный ввод, включающий тематический анализ текста, обработку, хранение и поиск материалов, а также методы получения различных статистических сводок и дайджестов по указанной тематике.
Введение
Огромный поток информации, обрушившийся на человечество в последнее время, естественным образом инициировал попытки хоть как - то автоматизировать процесс ее упорядочения. При этом помимо традиционных средств массовой информации огромными шагами развивается Интернет, обеспечивающий оперативность публикации и быстроту доступа к информации. Однако, наличие большого числа информационных сайтов, зачастую дублирующих информацию, заставляет задуматься о создании автоматизированной системы, обеспечивающей сбор информации из различных Интернет - источников, ее фильтрацию, упорядочение, проверку на повторяемость текста.
Одной из таких систем является разработанная в Колумбийском университете программа Newsblaster. Первоначально Newsblaster предназначалась для упрощения поиска информации в Web, но на самом деле она в состоянии выделять из сети Интернет любые важные новости. Эта программа просматривает новостные сайты, сортируя найденную информацию по темам, определяет степень похожести текстов и формирует новость в виде комментария из пяти предложений. Почти 88% тех, кто использовал эту систему, признают, что намного удобнее работать с ней, чем «ходить» по различным Web-сайтам в поисках новостей [1].
Другим ярким примером является информационно - аналитическая система управления Кемеровским государственным университетом, направленная на автоматизированный сбор, хранение и обработку данных о КемГУ и его филиалах для последующего оперативного анализа текущей деятельности ВУЗа, последующего совершенствования качества принятия решений, регулирования и прогнозирования образовательной деятельности и, как итог, повышения качества управления ВУЗом [2].
С тем, что наличие информационно - аналитической системы в сфере образования позволит «оптимизировать сложившиеся каналы сбора информации и обеспечить более полное удовлетворение информационных потребностей руководителей и педагогов» согласны и в Екатеринбурге [3].
Следует заметить, что проблема работы с огромным количеством поступающей информации имеет два аспекта: с одной стороны это автоматический сбор информации, на что, собственно, и ориентированы перечисленные выше системы, а с другой - автоматический разбор поступившей информации по тематике, проведенный на основе анализа текста документа.
Согласно А. Харламову существующие подходы к анализу текстов можно разбить на два класса [4]. К первому классу предлагается отнести быстрые алгоритмы, не зависящие от языка и предметной области, которые используют статистические методы. Ко второму классу предлагается отнести достаточно изощренные, дающие хороший результат, но сравнительно медленные подходы, зависящие от языка и предметной области; в большинстве своем основанные на лингвистических методах.
Не вызывает сомнения, что наиболее эффективным будет подход, сочетающий в себе быстроту и независимость от языка алгоритмов первого класса с высоким качеством обработки второго.
Наиболее интересной с точки зрения авторов является система ТЕРМИН-5, использующая лексикостатистический метод рубрицирования текстов. Достоинством лексикостатистического метода является его высокая универсальность, поскольку смысл рубрики в нем определяется только набором обучающих текстов [5]. Система позволяет полностью автоматизировать процесс рубрицирования, обеспечивая настройку на рубрикатор по обучающей выборке текстов и выработку решающего правила отнесения документа к той или иной рубрике, и ориентирована на рубрикацию реальных потоков текстовых сообщений СМИ [6].
На рынке программного обеспечения уже давно развивается раздел аналитических систем, ориентированных на математический и статистический анализ различных количественных и качественных показателей. Однако достаточно качественного инструментария для анализа огромного объема текстовой информации, содержащейся в печатных изданиях, новостных лентах информационных агентств, тематических сайтах в Интернет, на данный момент не существует.
Понятие рубрикатора
Для решения задачи анализа текстовой информации и последующего автоматического распределения ее по требуемым тематикам необходимо, в первую очередь, сформировать рубрикатор, т.е. задать список тем или рубрик, наиболее точно характеризующих исследуемую область знаний. Необходимым условием при анализе текста должна быть поддержка работы, как с линейным, так и с иерархическим рубрикатором с неограниченным количеством уровней вложенности. Пример линейного рубрикатора, используемого на сайте Lenta.ru, приведен ниже:
1. Ближний Восток
|
7. Спорт
|
2. В мире
|
8. Террор
|
3. В России
|
9. Экономика
|
4. Интернет
|
10. Авто
|
5 .Культура
|
11. Кино
|
6 .Медицина
|
12. Разное
|
Кроме того, поскольку направления исследований могут изменяться, то хотелось бы иметь возможность один и тот же массив введенной информации уметь классифицировать по различным тематикам, задаваемым различными рубрикаторами.
Технологические аспекты построения систем авторубрикации текстовой информации
В существующих системах обработки текстовой информации наиболее распространены два принципиальных подхода: основанные либо на списке ключевых слов, либо на списке терминов (именные группы или словосочетания), отнесенным к рубрике тем или иным способом. Причем зачастую подготовительная работа по соотнесению ключевых слов и терминов какой-либо рубрике проводится экспертами вручную.
Предлагаемый вниманию в этой статье метод, являющийся развитием ТЕРМИН-5, позволяет автоматически сформировать список терминов, характеризующий принадлежность текстовой информации определенной рубрике. Такой подход можно назвать шагом на пути в автоматическому семантическому анализу текста. Построение списка характеристических терминов производится на основе морфологического и синтаксического анализа текста путем выделения нетривиальных существительных и имен собственных в окружении определений с учетом частотности слов в языке.
Построение обучающей выборки
В основе технологии обучения рубрикатора, лежит построение обучающей выборки.
Под обучающей выборкой понимается список файлов или документов, поставленных в соответствие рубрикам обучаемого рубрикатора. Наибольшая эффективность обучения достигается при обучении рубрикатора короткими информативными текстами с максимальной смысловой нагрузкой.
При работе с несколькими рубрикаторами для каждого из них должна быть сформирована своя обучающая выборка.
Точность построения обучающей выборки можно определить только на этапе проведении тематического анализа текстовой информации, т.е. при вводе ее в базу данных. Поэтому процесс построения обучающей выборки является итеративным: в зависимости от качества определения тематики при анализе текста обучающая выборка может корректироваться.
Обучение рубрикатора
Процесс обучения рубрикатора заключается в построении некоторого множества терминов, характеризующих принадлежность каждой рубрике рубрикатора. Список определяющих терминов формируется на основе анализа текста документов, составляющих обучающую выборку по каждой рубрике отдельно. Каждому выделенному термину при этом присваивается некоторый вес, характеризующий его значимость в тексте. Последующий анализ полученных результатов позволяет уточнить список, понижая значимость пересекающихся понятий и терминов, а зачастую и удаляя их.
Иерархию рубрик вместе со значимыми для каждой рубрики терминами, т.е. обученный рубрикатор, предлагается называть авторубрикатором.
Дополнительные возможности, обеспечивающие эксперту выполнение операций по изменению веса термина, добавлению или удалению термина, позволяют довольно гибко влиять на результаты работы по формированию определяющих терминов авторубрикатора.
Откорректированные результаты обучения хранятся в собственной базе терминов (именных групп), характеризующих каждую рубрику, которая затем используется при автоматическом определении тематики поступающей информации.
Использование рубрикатора
После того, как рубрикатор построен, он может использоваться для анализа поступающих в систему текстовых документов. Для этого текст документа подвергается такой же обработке, как и тексты из обучающей выборки при построении рубрикатора. Осуществляется автоматический морфологический и синтаксический анализ текста, результатом которого является набор характеристических терминов (именных групп и словосочетаний) с учетом частотности. Этот набор терминов становится входным параметром рубрикатора для соотнесения его с соответствующими наборами каждой из рубрик. На выходе – оценки релевантности данного текста каждой из рубрик. Постпроцессор может отсекать недостоверные (слабые) и/или выделять надежные (высокие) оценки в соответствии с заданными порогами достоверности.
Описанный выше процесс автоматического определения принадлежности входящей информации той или иной рубрике называется авторубрикацией.
Предварительная обработка поступающей информации
В качестве основных источников информации предлагается рассматривать интернет-СМИ, новостные ленты, электронные документы, печатные издания.
В основу обработки поступающих данных положен принцип максимально возможной автоматизации. Это касается как разбора текста документа, так и слежения за поступлением новых документов и их последующий ввод в хранилище информации.
Автоматический анализ текста поступающей информации и определение ее тематики, не зависимо от формата ее представления, предлагается производить непосредственно перед вводом ее в хранилище, но после проведения предварительной обработки исходных данных.
Необходимым функциональным элементом систем обработки информации должна быть проверка на ее дублирование. Особенно это актуально для интернет-СМИ, где, зачастую, производится не только полная перепечатка информации, но и не указывается ссылка на ее источник. Не менее редки ситуации, когда при перепечатке изменяется только заголовок статьи и дата публикации на сайте. Поэтому предлагается проверять на повторяемость как реквизитную, так и текстовую составляющую вводимого документа.
Интернет-СМИ
Обработка новостей, опубликованных в Интернет, состоит не только в описании структуры сайта и организации процесса загрузки с него новостей, но и в соблюдении правил, установленных на рабочем месте пользователя, которые включают в себя: расписание и периодичность просмотра сайта, состав реквизитов, сопровождающих новости, учет тематики, определенной на сайте и т.п.
Новостные ленты
Спецификой структуры новостной ленты является наличие многих документов внутри одного текстового файла. Обычно формат представления документов новостной ленты определяется внутри организации, ее подготовившей, что говорит об их многообразии. Обработка новостных лент заключается в автоматическом отслеживании новых поступлений, хранящихся на жестком диске, определении и разборе формата новостной ленты, выделении отдельных документов, ее составляющих.
Электронные и бумажные документы
Технология работы с бумажными документами начинается, обычно, с перевода их в электронный вид, т.е. производится операция сканирования.
Дальнейшая обработка документов автоматизирована только в области определения их тематики.
Аналитическая обработка поступающей информации
До сих пор рассматривались различные варианты автоматизации сбора разнородной информации и группировки ее по тематическим составляющим.
На самом деле все упомянутое является лишь первым необходимым шагом при работе с потоками информации, поступающей из различных источников. Следующим шагом должен стать анализ информации, наиболее часто состоящий из составления статистических отчетов, возможно с элементами прогнозирования, и построения дайджестов, позволяющих сгруппировать и опубликовать данные по выбранной тематике.
Статистические отчеты
Аналитические отчеты, базирующиеся на статистической обработке введенной информации, помогают быстро оценить не только качество имеющихся данных, но и, зачастую, сделать некоторый прогноз на будущее. Такие отчеты могут строиться как с использованием стандартных статистических пакетов (особенно это касается построения прогнозов), так и в результате экспорта данных в Excel.
Построение дайджестов
При формировании дайджеста (сводного отчета) необходимо учитывать потребность как в наиболее полном представлении в нем информации по заданному вопросу, т.е. представлении полного текста документа, так и только в краткой, когда в качестве текстовой информации выбирается аннотация или реферат.
Информационно - аналитическая система «Астарта»
Описанные выше принципы работы реализованы в информационно - аналитической системе «Астарта». Система предназначена для сбора, обработки и анализа неструктурированной информации, получаемой из Интернет, печатных материалов, СМИ и других источников.
Система имеет клиент - серверную архитектуру с возможностью публикации на сервере документов, предназначенных для общего пользования, и форматов новостных лент, и базируется на технологии Евфрат.
Технологически в системе предусмотрено три разнотипных рабочих места и, соответственно, три типа пользователей системы: администратор, эксперт и пользователь.
Администрирование
Помимо стандартных функций по управлению правами доступа к системе и проведению регламентных работ, на администраторе «Астарты» лежат функции публикации на сервере системных реквизитов, общих форматов для новостных лент и рубрикаторов. При создании и корректировке списка пользователей системы, а также установке их прав на работу с ее компонентами, имеется возможность учитывать структуру предприятия, классификатор должностей, а также связи, характерные для взаимодействия между подразделениями. Все эти компоненты формируются и корректируются администратором из интерфейса системы (см. рис.1).
Назначение прав доступа предусмотрено как каждому пользователю системы отдельно, так и группе пользователей. В последнем случае всем пользователям группы автоматически устанавливаются права данной группы. При этом если пользователь состоит в нескольких группах, то его права расширяются в соответствии с правами, которые он имеет в каждой группе.
Выделенным пользователем системы является администратор, который не должен иметь прав на выполнение пользовательских функций.
Рис.1 Окно администратора системы
Работа с рубрикатором
Формирование рубрикатора является одним из самых важных шагов при подготовке системы к работе, поскольку именно им определяется тематика, по которой будет разбираться входящая информация.
Система поддерживает работу с иерархическим рубрикатором неограниченной глубины. Рубрикатор может быть создан непосредственно из интерфейса системы или подготовлен заранее в произвольном текстовом редакторе и импортирован в систему. При этом при подготовке текста рубрикатора разрешено использовать произвольные разделители уровней иерархии.
Подбор обучающей выборки производится либо экспертом системы, либо специалистом, выполняющим его функции. Обучающая выборка может состоять как из набора файлов, распределенных по рубрикам, так и из документов, ранее введенных в «Астарту». При этом имеется возможность выбора уровня оценки релевантности принадлежности данной рубрике, установленной при вводе документа в систему. Возможность участия документов системы в формировании обучающей выборки особенно удобна при построении уточняющей выборки.
Качество работы построенного авторубрикатора системы определяется по результатам автоматического определения тематики поступающей информации. Авторубрикация документов производится на этапе ввода информации в БД. При этом документам присваивается оценка релевантности, характеризующая принадлежность той или иной рубрике (или нескольким рубрикам). Документы, тематика которых не была установлена, относятся к последней по порядку рубрике рубрикатора (например, «Разное»). При неудовлетворительном качестве определения тематики авторубрикатор следует переобучить, уточнив состав обучающей выборки, и перерубрицировать тот же набор документов.
 
Результат работы программы обучения (набор характеристических терминов) доступен для просмотра и корректировки. Эксперту предоставляется возможность откорректировать вес того или иного термина, добавить новый термин или удалить ненужный.
Подготовленный и обученный рубрикатор публикуется на сервере системы или сразу становится доступен для дальнейшей работы (в случае использования локальной версии системы).
Работа пользователя
Работа пользователя системы начинается с определения списка источников информации, задания расписания работы программы, обрабатывающей интернет-СМИ, и указания списка директорий, в которых будут скапливаться поступающие новостные ленты. Кроме того, необходимо выбрать рубрикатор, с которым будет проводиться работа. В системе разрешена работа с несколькими рубрикаторами, т.е. любой документ может быть прорубрицирован по нескольким рубрикаторам, однако текущим в каждый момент времени должен быть один рубрикатор.
По умолчанию система настроена так, что один документ может одновременно прорубрицирован по нескольким рубрикам, однако существует возможность, и это удобно при составлении статистических отчетов, настроить авторубрицирование по принадлежности документа только одной рубрике.
Ввод документов
Система ввода ИАС «Астарта» поддерживает автоматический просмотр новостных страниц заранее указанных сайтов с заданной периодичностью и в соответствии с составленным расписанием. Применение системы расписаний позволяет распределить работу по вводу новостей, используя, например, ночное или обеденное время.
Предварительная обработка новостной Интернет-страницы заключается в выделении отдельных новостей из новостного блока и разбора структуры каждой новости, т.е. выделении текстового фрагмента и списка реквизитов, его сопровождающих. Подготовленные таким образом новости передаются системе ввода, в процессе работы которой производится проверка на дублирование информации, а затем авторубрикация ее текста. Повторные документы в систему не вводятся. Вся информация о работе с интернет-СМИ отражается в специальном протоколе.
При обработке новостных лент различных форматов в первую очередь определяется формат данной новостной ленты. Заметим, что в одном потоке могут находиться новостные ленты различных форматов. Затем из новостной ленты выделяются отдельные новости, которые передаются системе ввода. Новостные ленты, формат которых системе не удалось определить автоматически, собираются в заранее описанном месте. В дальнейшем можно вручную указать формат, по которому их следует вводить. Кроме того предусмотрена возможность ввода в «Астарту» так называемых «неформатных» документов, т.е. документов, формат которых в системе не описан. Указание, что сейчас будет вводиться поток неформатных документов, производится вручную.
Для обработки бумажных документов в системе имеется возможность запустить программу сканирования и указать в ее интерфейсе место расположения полученных графических образов документов. Последующий ввод таких документов в систему производится вручную, с использованием дополнительной возможности распознавания текста документа «на лету» (drag&recog) при заполнении реквизитов документа. Возможна также автоматическая полнотекстовая индексация графического документа путем «слепого» распознавания всего графического образа и передачи распознанного текста модулю полнотекстовой индексации.
Поиск документов
Разветвленная поисковая система программного комплекса «Астарта» обеспечивает возможность составления сложных запросов, поддерживая организацию полнотекстового, контекстного и реквизитного поиска документов, как по локальному, так и по серверному хранилищу данных.
При организации поиска используются методы морфологического анализа, позволяющие находить в тексте документа не только точно указанное слово (или словосочетания), но и все его словоформы. Поиск с учетом морфологии может производиться как по тексту документа, так и по его реквизитам.
Интерфейс системы позволяет формировать запросы с использованием логических операций И, ИЛИ, НЕ, обеспечивая тем самым возможность указания более точного условия на поиск информации.
В поисковой системе имеется ряд инструментов, позволяющих упростить работу по формированию запроса на поиск документов:
наличие словарей при реквизитах системы позволяет упростить выбор необходимого значения;
возможность указания даты на «естественном» языке (например, выбор даты «март 2003 г.» равносилен указанию интервала с 1.03.03 по 31.03.03);
формирование запроса по результатам поиска;
хранение предопределенных запросов.
Формирование дайджестов
Формирование сводных отчетов (дайджестов), сгруппированных по различным информационным срезам, является неотъемлемой частью функциональных возможностей системы. Для реализации этой возможности в ИАС «Астарта» имеется компонента, позволяющая создавать различные шаблоны представления информации в отчетах, в которых задаются стили и структура всех составных частей отчета, и указывается способ сортировки документов. Имеющиеся настройки позволяют составить дайджест только по аннотации документов или сформировать полнотекстовый дайджест. При больших объемах информации можно сформировать многотомный документ или же, наоборот, сформировать только оглавление для него.
По умолчанию итоговый документ формируется в формате Word, однако имеется возможность выбрать другой формат представления данных на этапе заполнения шаблона.
Построение статистических сводок
Основной задачей статистического анализа является определение тенденции развития исследуемой проблемы. Наиболее наглядными, с точки зрения представления результатов, являются временной ряд, показывающий развитие исследуемой величины с течением времени, и диаграмма, показывающая долю исследуемой величины относительно других величин. Если для решения задач прогнозирования требуется применение различных статистических пакетов, использующих специальные алгоритмы, например, алгоритм авторегрессии и интегрального скользящего среднего АРИСС – ARIMA, то качественную оценку, полученную на основании построенных временных рядов, можно получить с помощью стандартного пакета Excel.
В ИАС «Астарта» реализовано оба способа построения различных статистических сводок: с использованием возможностей пакета Statistica 5.5 и стандартного пакета Excel. При экспорте в Excel из интерфейса системы можно указать вид представления информации: график, круговая диаграмма или таблица. Пример временного ряда, построенного с использованием пакета Excel для рубрикатора сайта Lenta.ru приведен ниже.
Заключение
Использование описанной технологии обработки и анализа информации, поступающей из разнородных источников, в ИАС «Астарта», показало, что кардинально изменяется взгляд на возможность «охвата невозможного». Возможность охватить все доступные источники информации и вести их обработку в круглосуточном режиме с автоматической группировкой по тематическим признакам позволяет свести до минимума вероятность пропустить необходимую информацию. При этом автоматическая фильтрация потоков позволяет оперативно получать интегральную информационную картину, а для детального изучения поступающей информации может использоваться мощный поисковый механизм с построением сложных запросов.
В работе информационных и аналитических служб предприятий приходится сталкиваться с большим разнообразием источников информации. Это и бумажные периодические издания, электронные газеты, другие Интернет-ресурсы, электронная почта, передача новостных потоков по IP и ftp каналам и т.п. Опыт внедрения информационно-аналитической системы «Астарта» в различных организациях показал высокую эффективность и простоту адаптации системы к «местным» условиям, благодаря разработанному универсальному инструменту автоматизированной загрузки больших разнородных по структуре потоков текстовой информации. Универсальный разборщик форматов позволяет полностью автоматизировать ввод электронных информационных потоков из гетерогенных источников с приведением информации к единому внутреннему представлению, а так же свести к минимуму рутинную работу по вводу нерегулярных текстовых данных, таких как ввод текстов с бумажных носителей (распознавание статей из печатных СМИ), конспектирование (а в перспективе и автоматическое распознавание) текущей аудиоинформации и пр. Встроенная система автоматического слежения за публикацией «свежих» новостей на информационных сайтах в Internet позволяет автоматизировать и эту часть деятельности информационных и аналитических служб предприятий.
Важным обстоятельством является гибкость предложенной технологии авторубрикации (тематической фильтрации). Построение списка рубрик и обучение системы может производиться экспертом – специалистом информационно-аналитической службы конкретного предприятия для нужд специализированного информационно-аналитического обслуживания. Диапазоны достоверных оценок релевантности документов заданным рубрикам также должны являться доступным параметром для использования экспертом в качестве инструмента анализа или самообучения системы на свежих данных.
Аналитический блок служит для автоматизации процесса подготовки отчетов и дайджестов, а так же позволяет аналитику отслеживать и осуществлять прогноз отражения в публичном информационном пространстве (СМИ, Интернет,…) различных тенденции развития конкретной предметной области.
Перечисленные выше функциональные возможности и особенности реализации позволяют сделать следующие выводы:
кардинально изменяется качество обработки больших потоков текстовой информации;
автоматический мониторинг может вестись в круглосуточном режиме;
снижается до минимума вероятность пропустить важную информацию;
автоматизированный рубрикатор, настраиваемый и обучаемый экспертом, легко адаптирует систему к решению задач в любой организации;
мощная система поиска минимизирует временные затраты на изучение архивов;
статистическая обработка данных и модуль генерирования отчетов позволяют решать аналитические задачи любого уровня сложности.
Эффективность информационно-аналитических систем такого класса может быть повышена благодаря развитию и внедрению методов искусственного интеллекта в применении к анализу текстов, и, в частности, методов автоматического семантического анализа текстов, понимания смысла. Среди наиболее насущных задач совершенствования описанных технологий следует перечислить:
расширение использования методов выделения в тексте объектов разных классов, описанных на естественном языке (таких, как объект типа «дата», «географическое понятие», «политическая структура», «персоналия» и т.п.);
разработка надежных методов и алгоритмов автоматического реферирования текстовых документов;
использование автоматического перевода с иностранного языка для мониторинга иноязычных СМИ и Интернет.
Литература
1. Электронный обозреватель. //Журнал «Открытые системы», #05, 2002 г.
2. Концепция построения информационной аналитической системы (ИАС) управления КемГУ. //http://ick.kemsu.ru/ru/etc/ias/index.html.
3. Ислентьева Е. В. Информационно – аналитическая система управления (ИАСУ) в образовательных учреждениях. //Культурно – творческий центр "Юный химмашевец", г. Екатеринбург.
4. Харламов А. Автоматический структурный анализ текстов. //17.10.2002, Открытые системы, #10/2002.
5. Дягилева А.В., Киселев С.Л, Сомин Н.В. Статистическая модель рубрикации текстов на примере сообщений СМИ. //Дистанционное образование, 1998. - N7. - С. 16-21.
6. Сомин Н.В., Соловьева Н.С., Соловьев С.В. Система рубрикации текстовых сообщений. //Труды Междунар. семинара Диалог'98 по компьютерной лингвистике и ее приложениям: В 2 т. Т. 2./Под ред. А.С. Нариньяни. - Казань: ООО «Хэтер», 1998. - С. 574-581.
__________________________________________________________________
- -
|
