Компьютерная лингвистика: методы, ресурсы, приложения

Скачать 298.54 Kb.

Название	Компьютерная лингвистика: методы, ресурсы, приложения
страница	1/3
Дата публикации	07.08.2013
Размер	298.54 Kb.
Тип	Документы

100-bal.ru > Информатика > Документы

1 2 3

Компьютерная лингвистика: методы, ресурсы, приложения

Большакова Е.И.

Введение

Термин компьютерная лингвистика (КЛ) в последние годы все чаще встречается в связи с разработкой различных прикладных программных систем, в том числе – коммерческих программных продуктов. Связано это бурным ростом в обществе текстовой информации, в том числе в сети Интернет, и необходимостью автоматической обработки текстов на естественном языке (ЕЯ). Указанное обстоятельство стимулирует развитие компьютерной лингвистики как области науки и разработку новых информационных и лингвистических технологий.

В рамках компьютерной лингвистики, существующей уже более 50 лет (и известной также под названиями машинная лингвистика, автоматическая обработка текстов на ЕЯ) предложено много перспективных методов и идей, но далеко не все они еще нашли свое выражение в программных продуктах, используемых на практике. Наша цель – охарактеризовать специфику этой области исследований, сформулировать ее основные задачи, указать ее связи с другими науками, дать краткий обзор основных подходов и используемых ресурсов, а также кратко охарактеризовать существующие приложения КЛ. Для более подробного ознакомления с этими вопросам можно рекомендовать книги [4, 16, 37].

1. Задачи компьютерной лингвистики

Компьютерная лингвистика возникла на стыке таких наук, как лингвистика, математика, информатика (Computer Science) и искусственный интеллект. Истоки КЛ восходят к исследованиям известного американского ученого Н. Хомского в области формализации структуры естественного языка [7]; ее развитие опирается на результаты в области общей лингвистики (языкознания) [36]. Языкознание изучает общие законы естественного языка – его структуру и функционирование, и включает такие области:

Фонология – изучает звуки речи и правила их соединения при формировании речи;
Морфология – занимается внутренней структурой и внешней формой слов речи, включая части речи и их категории;
Синтаксис – изучает структуру предложений, правила сочетаемости и порядка следования слов в предложении, а также общие его свойства как единицы языка.
Семантика и прагматика – тесно связанные области: семантика занимается смыслом слов, предложений и других единиц речи, а прагматика – особенностями выражения этого смысла в связи с конкретными целями общения;
Лексикография описывает лексикон конкретного ЕЯ – его отдельные слова и их грамматические свойства, а также методы создания словарей.

Результаты Н. Хомского, полученные на стыке лингвистики и математики, заложили основу для теории формальных языков и грамматик (часто называемых генеративными, или порождающими грамматиками). Эта теория относится ныне к математической лингвистике и применяется для обработки не столько ЕЯ, но искусственных языков, в первую очередь – языков программирования. По своему характеру это вполне математическая дисциплина.

К математической лингвистике относят также и квантитативную лингвистику, изучающую частотные характеристики языка – слов, их комбинаций, синтаксических конструкций и т.п., При этом используется математические методы статистики, так что можно назвать этот раздел науки статистической лингвистикой [14].

КЛ тесно связана и с такой междисциплинарной научной областью, как искусственный интеллект (ИИ) [40], в рамках которого разрабатываются компьютерные модели отдельных интеллектуальных функций. Одна из первых работающих программ в области ИИ и КЛ – это известная программа Т. Винограда, которая понимала простейшие приказы человека по изменению мира кубиков, сформулированные на ограниченном подмножестве ЕЯ [32]. Отметим, что несмотря на очевидное пересечение исследований в области КЛ и ИИ (поскольку владение языком относится к интеллектуальным функциям), ИИ не поглощает всю КЛ, поскольку она имеет свой теоретический базис и методологию. Общим для указанных наук является компьютерное моделирование как основной метод и итоговая цель исследований.

Таким образом, задача КЛ может быть сформулирована как разработка компьютерных программ для автоматической обработки текстов на ЕЯ. И хотя при этом обработка понимается достаточно широко, далеко не все виды обработки могут быть названы лингвистическими, а соответствующие процессоры – лингвистическими. Лингвистический процессор должен использовать ту или иную формальную модель языка (пусть даже очень простую), а значит, быть так или иначе языково-зависимым (т.е. зависеть от конкретного ЕЯ). Так, например, текстовый редактор Mycrosoft Word может быть назван лингвистическим (хотя бы потому, что использует словари), а редактор NotePad – нет.

Сложность задач КЛ связана с тем, что ЕЯ – сложная многоуровневая система знаков, возникшая для обмена информацией между людьми, выработанная в процессе практической деятельности человека, и постоянно изменяющаяся в связи с этой деятельностью [36, 38]. Другая сложность разработки методов КЛ (и сложность изучения ЕЯ в рамках языкознания) связана с многообразием естественных языков, существенными отличиями их лексики, морфологии, синтаксиса, разные языки предоставляют разные способы выражения одного и того же смысла.

2. Особенности системы ЕЯ: уровни и связи

Объектом лингвистических процессоров являются тексты ЕЯ. Под текстами понимаются любые образцы речи – устной и письменной, любого жанра, но в основном КЛ рассматривает письменные тексты. Текст имеет одномерную, линейную структуру, а также несет определенный смысл, язык же выступает как средство преобразования передаваемого смысла в тексты (синтез речи) и наоборот (анализ речи). Текст составлен из более мелких единиц, и возможно несколько способов разбиения (членения) текста на единицы, относящихся к разным уровням.

Общепризнано существование следующих уровней [36, 38]:

уровень предложений (высказываний) – синтаксический уровень;
уровень слов (словоформ – слов в определенной грамматической форме, например, столом, дружбы) – морфологический уровень;
уровень фонем (отдельных звуков, с помощью которых формируются и различаются слова) – фонологический уровень.

Фонологический уровень выделяется для устной речи, для письменных текстов в языках с алфавитным способом записи (в частности, в европейских языках) он соответствует уровню символов (т.к. фонемы примерно соответствуют буквам алфавита).

Уровни, по сути, есть подсистемы общей системы ЕЯ (взаимосвязанные, но в достаточной степени автономные), и в них самих могут быть выделены подсистемы [36]. Так, морфологический уровень включает также подуровень морфем. Морфема – это минимальная значащая часть слова (корень, приставка, суффикс, окончание, постфикс).

Отметим, что единицы всех перечисленных уровней, кроме фонологического, являются знаками в смысле семиотики (общей науки о знаках), поскольку имеют значение (а отдельно взятая фонема или буква смысла не имеет). Иерархия уровней проявляется в том, что более высокий уровень в большой степени обуславливает организацию нижележащего уровня – так, синтаксическая структура предложения в значительной мере определяет, какие должны быть выбраны словоформы.

Вопрос о количестве уровней и их перечне до сих пор остается открытым в лингвистике. Как отдельный может быть выделен лексический уровень – уровень лексем. Лексема – это слово как совокупность всех его конкретных грамматических форм (к примеру, лексему стол образуют формы стол, стола, столу, столом). В тексте встречаются словоформы (лексемы в определенной форме), а в словаре ЕЯ – лексемы, точнее, в словаре записывается каноническая словоформа лексемы, называемая также леммой (например, для существительных это форма именительного падежа единственного числа: стол).

Относительно синтаксического уровня может быть выделен подуровень словосочетаний – синтаксически связанных групп слов (купил книгу, новый год), и надуровень сложного синтаксического целого, которому примерно соответствует абзац текста. Сложное синтаксическое целое, или сверхфразовое единство – это последовательность предложений (высказываний), объединенных смыслом и лексико-грамматическими средствами [38]. К таким средствам относятся в первую очередь лексические повторы и анафорические ссылки – ссылки на предшествующие слова текста, реализуемые при помощи местоимений и местоименных слов (они, этот и т.д.).

Можно также говорить еще об одном уровне – уровне дискурса, под которым понимается связный текст в его коммуникативной направленности. Под дискурсом понимается последовательность взаимосвязанных друг с другом предложений текста, обладающая определенной смысловой целостностью, за счет чего он выполняет определенную прагматическую задачу [45]. Во многих типах связных текстов проявляется традиционная схематическая (дискурсивная) структура, организующая их общее содержание, например, определенную структуру имеют описания сложных технических систем, патентные формулы, научные статьи, деловые письма и др.

Отдельным является вопрос об уровне семантики. В принципе, она присутствует всюду, где есть знаковые единицы языка (морфемы, слова, предложения). Однако наличие именно уровня зависит от существования некоторого универсального набора семантических единиц, при помощи которых можно было бы выразить смысл любого высказывания. Подтверждением самостоятельности уровня семантики считается то, что человек обычно запоминает смысл высказывания, а не его конкретную языковую форму. Элементарные единицы этого уровня называются семами, и в ряде исследований считается, что таких единиц в ЕЯ не более 2 тысяч.

Если сравнивать ЕЯ и искусственные языки, в частности, языки программирования, которые наиболее близки к ЕЯ по выполняемым лингвистическим функциям и успешно обрабатываются автоматически, то в первую очередь следует указать следующие их отличия, связанные с тем, что искусственные языки есть результат целенаправленной деятельности человека, а ЕЯ – продукт долгого исторического, и в определенной степени стихийного развития.

Открытость системы ЕЯ: язык постоянно изменяется (это не очень заметно в пределах нескольких лет, но ощутимо по прошествии одного-двух десятилетий). Изменения касаются не только словарного запаса языка (новые слова и новые смыслы старых), но также его синтаксического и фонетического уровней. Следствие открытости – принципиальная невозможность единожды описать конкретный ЕЯ и построить соответствующий лингвистический процессор. Необходимо пополнение знаний о языке на всех его уровнях, а, следовательно, КЛ должна разрабатывать средства автоматизации пополнения этих знаний.
Нестандартная сочетаемость (синтактика) единиц на каждом уровне ЕЯ. В частности, если в искусственных языках синтаксическая сочетаемость знаков диктуется их семантикой, то в ЕЯ соединение слов на уровне предложений лишь частично может быть описана законами грамматики. В любом языке достаточно большое количество грамматически правильных сочетаний реально не употребляется, например, в русском языке правильным сочетанием является крепкий чай, но не тяжелый чай (как в английском heavy tea). Тем самым, КЛ должна вырабатывать представления нестандартной сочетаемости единиц языка.
Большая системность ЕЯ, т.е. в нем больше число уровней, четче границы между ними, а также более выражена ассиметрия связи между единицами языка и выражаемыми ими смыслами, проявляющаяся на всех уровнях языковой системы. Под ассиметрией понимаются нарушения регулярности этих связей, что выражается в таких явлениях как полисемия (многозначность) – наличие у одной единицы языка нескольких связанных между собой значений (например, полисемия слов, например: земля – суша, почва, конкретная планета); синонимия – полное или частичное совпадение значений разных единиц (например, синонимия слов: негодяй и подлец), омонимия – совпадение по форме двух разных по смыслу единиц. Таким образом, КЛ должна иметь средства решения проблем неоднозначности, связанной с этими явлениями.

Добавим, что омонимия существенно проявляется на всех уровнях ЕЯ, укажем некоторые ее виды:

Лексическая омонимия означает одинаково звучащие и пишущиеся слова, не имеющие общих элементов смысла, например, рожа – лицо и вид болезни.
Морфологическая омонимия – совпадение форм одного и того же слова (лексемы), например, словоформа круг соответствует именительному и винительному падежам.
Лексико-морфологическая омонимия (наиболее частый вид) возникает при совпадении словоформ двух разных лексем, например, стих – глагол в единственном числе мужского рода и существительное в единственном числе, именительном падеже),
Синтаксическая омонимия означает неоднозначность синтаксической структуры, что приводит к нескольким интерпретациям: Студенты из Львова поехали в Киев, Flying planes can be dangerous (известный пример Хомского) и др.

3. Моделирование в компьютерной лингвистике

Разработка лингвистического процессора (ЛП) предполагает описание лингвистических свойств обрабатываемого текста ЕЯ, и это описание организуется как модель языка. Как и при моделировании в математике и программировании, под моделью понимается некоторая система, отображающая ряд существенных свойств моделируемого явления (т.е. ЕЯ) и обладающая поэтому структурным или функциональным подобием.

Используемые в КЛ модели языка обычно строятся на основе теорий, создаваемых лингвистами путем изучения различных текстов и на основе своей лингвистической интуиции (интроспекции). В чем же специфика именно моделей КЛ? Можно выделить следующие их особенности [4]:

Формальность и, в конечном счете, алгоритмизируемость;
Функциональность (цель моделирования – воспроизведение функций языка как «черного ящика», без построения точной модели синтеза и анализа речи человеком);
Общность модели, т.е. учет ею довольно большого множества текстов;
Экспериментальная обоснованность, предполагающая тестирование модели на разных текстах;
Опора на словари как обязательную составляющую модели.

Сложность ЕЯ, его описания и обработки ведет к разбиению этого процесса на отдельные этапы, соответствующие уровням языка, Большинство современных ЛП относятся к модульному типу, при котором каждому уровню лингвистического анализа или синтеза соответствует отдельный модуль процессора. В частности, в случае анализа текста отдельные модули ЛП выполняют:

Графематический анализ, т.е. выделение в тексте словоформ (переход от символов к словам);
Морфологический анализ – переход от словоформ к их леммам (словарным формам лексем) или основам (ядерным частям слова, за вычетом словоизменительных морфем);
Синтаксический анализ, т.е. выявление грамматической структуры предложений текста;
Семантический и прагматический анализ, при котором определяется смысл фраз и соответствующая реакция системы, в рамках которой работает ЛП.

Возможны разные схемы взаимодействия указанных модулей (последовательная работа или параллельный перемежающийся анализ), однако отдельные уровни – морфология, синтаксис и семантика все же обрабатываются разными механизмами.

Таким образом, ЛП можно рассматривать как многоэтапный преобразователь, переводящий в случае анализа текста каждое его предложение во внутреннее представление его смысла и наоборот в случае синтеза. Соответствующая модель языка может называться структурной.

Хотя полные модели КЛ требуют учета всех основных уровней языка и наличия соответствующих модулей, при решении некоторых прикладных задач можно обойтись без представления в ЛП отдельных уровней. К примеру, в ранних экспериментальных программах КЛ, обрабатываемые тексты относились к очень узким проблемным областям (с ограниченным набором слов и строгим их порядком), так что для распознавания слов можно было использовать их начальные буквы, опуская этапы морфологического и синтаксического анализа.

Еще одним примером редуцированной модели, ныне достаточно часто используемой, является языковая модель частотности символов и их сочетаний (биграмм, триграмм и пр.) в текстах конкретного ЕЯ [19]. Такая статистическая модель отображает лингвистическую информацию на уровне символов (букв) текста, и ее достаточно, например, для выявления опечаток в тексте или для распознавания его языковой принадлежности. Аналогичная модель на базе статистики отдельных слов и их совместной встречаемости в текстах (биграмм, триграмм слов) применяется, например, для разрешения лексической неоднозначности [18] или определения части речи слова (в языках типа английского).

Отметим, что возможны структурно-статистические модели, в которых при представлении отдельных уровней ЕЯ учитывается та или иная статистика – слов, синтаксических конструкций и т.п.

В ЛП модульного типа на каждом этапе анализа или синтеза текста используется соответствующая модель (морфологии, синтасиса и т.п.).

Существующие в КЛ морфологические модели анализа словоформ различаются в основном по следующим параметрам:

результату работы – лемма или основа с набором морфологических характеристик (род, число, падеж, вид, лицо и т.п.) заданной словоформы;
методу анализа – с опорой на словарь словоформ языка или на словарь основ, либо же бессловарный метод;
возможности обработки словоформы лексемы, не включенной в словарь.

При морфологическом синтезе исходными данными являются лексема и конкретные морфологические характеристики запрашиваемой словоформы данной лексемы, возможен и запрос на синтез всех форм заданной лексемы. Результат как морфологического анализа, так и синтеза в общем случае неоднозначен.

Для моделирования синтаксиса в рамках КЛ предложено большое число разных идей и методов, отличающихся способом описания синтаксиса языка, способом использования этой информации при анализе или синтезе предложения ЕЯ, а также способом представления синтаксической структуры предложения [6]. Весьма условно можно выделить три основных подхода к созданию моделей: генеративный подход, восходящий к идеям Хомского [7], подход, восходящий к идеям И. Мельчука и представленный моделью «СмыслТекст» [42], а также подход, в рамках которого делаются те или иные попытки преодолеть ограничения первых двух подходов, в частности, теория синтаксических групп [33].

В рамках генеративного подхода синтаксический анализ производится, как правило, на основе формальной контекстно-свободной грамматики, описывающей фразовую структуру предложения, или же на основе некоторого расширения контекстно-свободной грамматики. Эти грамматики исходят из последовательного линейного членения предложения на фразы (синтаксические конструкции, например, именные группы) и отражают поэтому одновременно как его синтаксическую, так и линейную структуры. Полученная в результате анализа иерархическая синтаксическая структура предложения ЕЯ описывается деревом составляющих, в листьях которого находятся слова предложения, поддеревья соответствуют входящим в предложение синтаксическим конструкциям (фразам), а дуги выражают отношения вложения конструкций.

К рассматриваемому подходу могут быть отнесены сетевые грамматики, представляющие собой одновременно аппарат для описания системы языка и для задания процедуры анализа предложений на основе понятия конечного автомата, например, расширенная сеть переходов ATN [23].

В рамках второго подхода для представления синтаксической структуры предложения используется более наглядный и распространенный способ – деревья зависимостей. В узлах дерева расположены слова предложения (в корне обычно глагол-сказуемое), а каждая дуга дерева, связывающая пару узлов, интерпретируется как синтаксическая подчинительная связь между ними, причем направление связи соответствует направлению данной дуги. Поскольку при этом синтаксические связи слов и порядок слов в предложении отделены, то на основе деревьев подчинения могут быть описаны разорванные и непроективные конструкции [36], достаточно часто возникающие в языках со свободным порядком слов.

Деревья составляющих больше подходят для описания языков в жестким порядком слов, представление с их помощью разорванных и непроективных конструкций требует расширения используемого грамматического формализма. Зато в рамках этого подхода более естественно описываются конструкции с неподчинительными отношениями. В то же время общая трудность для обоих подходов – представление однородных членов предложения.

Синтаксические модели во всех подходах пытаются учесть ограничения, накладываемые на соединение языковых единиц в речи, при этом так или иначе используется понятие валентности [38]. Валентность – это способность слова или другой единицы языка присоединять другие единицы определенным синтаксическим способом; актант – это слово или синтаксическая конструкция, заполняющая эту валентность. Например, русский глагол передать имеет три основные валентности, которые можно выразить следующими вопросительными словами: кто? кому? что? В рамках генеративного подхода валентности слов (прежде всего, глаголов) описываются преимущественно в виде специальных фреймов (subcategorization frames) [4], а в рамках подхода, основанного на деревьях зависимостей – как модели управления.

Модели семантики языка наименее проработаны в рамках КЛ. Для семантического анализа предложений были предложены так называемые падежные грамматики и семантические падежи (валентности), на базе которых семантика предложения описывается как через связи главного слова (глагола) с его семантическими актантами, т.е. через семантические падежи [4]. Например, глагол передать описывается семантическими падежами дающего (агенса), адресата и объекта передачи.

Для представления семантики всего текста обычно используются два логически эквивалентных формализма (оба они детально описаны в рамках ИИ [40]):

Формулы исчисления предикатов, выражающих свойства, состояния, процессы, действия и отношения;
Семантические сети – размеченные графы, в которых вершины соответствуют понятиям, а вершины – отношениям между ними.

Что касается моделей прагматики и дискурса, позволяющих обрабатывать не только отдельные предложения, но и текст в целом, то в основном для их построения используются идеи Ван Дейка [30]. Одна из редких и удачных моделей – модель дискурсивного синтеза связных текстов [41]. В подобных моделях должны учитываться анафорические ссылки и другие явления уровня дискурса.

Завершая характеристику моделей языка в рамках КЛ, остановимся чуть подробнее на теории лингвистических моделей «СмыслТекст» [42], и в рамках которой появилось много плодотворных идей, опередивших свое время и актуальных до сих пор.

В соответствии с этой теорией ЕЯ рассматривается как особого рода преобразователь, выполняющий переработку заданных смыслов в соответствующие им тексты и заданных текстов в соответствующие им смыслы. Под смыслом понимается инвариант всех синонимичных преобразований текста. Содержание связного фрагмента речи без расчленения на фразы и словоформы отображается в виде специального семантического представления, состоящего из двух компонент: семантического графа и сведений о коммуникативной организации смысла.

Как отличительные особенности теории следует указать:

ориентацию на синтез текстов (способность порождать правильные тексты рассматривается как основной критерий языковой компетенции);
многоуровневый, модульный характер модели, причем основные уровни языка разделяются на поверхностный и глубинный уровень: различаются, к примеру, глубинный (семантизированный) и поверхностный («чистый») синтаксис, а также поверхностно-морфологический и глубинно-морфологический уровни;
интегральный характер модели языка; сохранение информации, представленной на каждом уровне, соответствующим модулем, выполняющими переход с этого уровня на следующий;
специальные средства описания синтактики (правил соединения единиц) на каждом из уровней; для описания лексической сочетаемости был предложен набор лексических функций, при помощи которых сформулированы правила синтаксического перифразирования;
упор на словарь, а не на грамматику; в словаре хранится информация, относящаяся к разным уровням языка; в частности, для синтаксического анализа используются модели управления слов, описывающие их синтаксические и семантические валентности.

Эта теория и модель языка нашли свое воплощение в системе машинного перевода ЭТАП [26].

1 2 3

Добавить документ в свой блог или на сайт

	Программа дисциплины «Оценка лингвистических систем и компонентов»... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки/ специальности...		Отчет по результатам самообследования отдельной профессиональной... «Фундаментальная и прикладная лингвистика», магистратура «Компьютерная лингвистика»
	Программа дисциплины «Численные методы» для специальности 090102. 65 «Компьютерная безопасность» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов специальности 090102 «Компьютерная...		Программа по формированию навыков безопасного поведения на дорогах... Сущность качества и управления им, основные методы управления качеством, сферы приложения методов управления качеством, сферы приложения...
	Оглавление приложения 2 Анализ соответствия учебного плана ооп федеральному государственному образовательному стандарту по направлению подготовки 035700....		Программа по формированию навыков безопасного поведения на дорогах... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 035800....
	Программа дисциплины Современные методы принятия решений для направления... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 010400....		Лекция 11. Прикладная лингвистика. Моделирование языковых процессов.... Прикладная лингвистика — направление в языкознании, занимающееся разработкой методов решения практических задач, связанных с использованием...
	Программа дисциплины «Политическая лингвистика» для направления 035800.... Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки 035800....		Рабочая программа дисциплины опд. В. 02 «Практика аудирования» для... «Лингвистика и новые информационные технологии», специальности 031301. 65 «Теоретическая и прикладная лингвистика», введённому в...
	Программа по формированию навыков безопасного поведения на дорогах... Технологии: эор интернет, собственно разработанные ресурсы: компьютерный тест, компьютерная презентация		Программа для первокурсников «Точка Опоры» Программа рассчитана на... Использовать возможные ресурсы для эффективной учебы (собственные ресурсы, ресурсы вуза, ресурсы внешней среды)
	О. Д. Дербенева Рабочая программа учебной дисциплины «Математические методы в лингвистике» составлена в соответствии с требованиями ооп: 035700....		Рабочая программа для студентов бакалавриата 036700. 2 «Лингвистика» «Лингвистика», «Теория и методика преподавания языков и культур» очной формы обучения
	Тема урока: «Информационные ресурсы Интернет. Всемирная паутина»... Группа кратковременного пребывания «Алёнушка» при мбоу «Тойгильдинская оош» Моргаушского района чр		Рабочая программа дисциплины опубликована на сайте ТюмГУ: Когнитивная... Лингвистика (Теория преподавания иностранных языков и культур) очной формы обучения

Компьютерная лингвистика: методы, ресурсы, приложения

Похожие: