Программа дисциплины «Оценка лингвистических систем и компонентов»  для направления 035800. 68 «Фундаментальная и прикладная лингвистика»

7Содержание дисциплины

Раздел 1. Задачи и цели оценки качества систем автоматической обработки текста. Области применения. Типы систем оценки.

Маннинг К., Рагхаван П., Шютце Х. Глава 8. Оценка информационного поиска. // Введение в информационный поиск. М.: Вильямс. – 2011, с.165-189.

РОМИП. Манифест. http://romip.ru/ru/manifest.html

РОМИП. Общие принципы. http://romip.ru/ru/rules.html

Paroubek P. et al. Principles of evaluation in natural language processing //Traitement Automatique des Langues. – 2007. – Т. 48. – №. 1. – С. 7-31. http://hal.archives-ouvertes.fr/docs/00/50/27/00/PDF/Intro_TAL_48_1.pdf

Раздел 2. Корпуса, используемые при оценке качества систем и модулей. Принципы создания и аннотации (4+4)

Тема 1. Лекция

Структура и объем корпусов, используемых при различных задачах тестирования лингвистических систем и модулей

Тема 1. Семинар

Практическое занятие по сбору корпуса и метаразметки текстов для тестирования. Анализ примеров: коллекция текстов для тестирования систем извлечения мнений, коллекция текстов для оценки систем синтаксического анализа.

Тема 2. Лекция

Понятие принципов аннотации тестовых корпусов, разработка эталонных корпусов для проведения тестирования. Составление и уточнение инструкции аннотаторам. Понятие согласия между аннотаторами.

Тема 2. Семинар

Практическое занятие по аннотации корпусов для проведения оценки систем выделения именованных сущностей, систем синтаксического анализа. Составление и уточнение инструкции. Вычисление критерия согласия между аннотаторами.

Литература по разделу:

Баранов А.Н. Корпусная лингвистика // Баранов А.Н. Введение в прикладную лингвистику. М., 2001. С.112-137.

John Carroll, Ted Briscoe. Corpus Annotation for Parser Evaluation // Proceedings of the EACL-99 Post-Conference Workshop on Linguistically Interpreted Corpora, Bergen, Norway. 35-41.

Материал для анализа на семинаре:

Разметка синтаксических отношений: http://otipl.philol.msu.ru/~soiza/rtb/res01/rtb.php

Разметка именованных сущностей: разметка в программе Gate https://gate.ac.uk/

Раздел 3. Типы ошибок. Принципы анализа ошибок систем

Тема 1. Лекция

Типы ошибок. Типизация ошибок. Принципы анализа ошибок систем

Тема 1. Семинар

Практический анализ ошибок систем на примере анализа работы одного из модулей автоматической обработки текста. Например, сравнение и анализ ошибок синтаксических парсеров.

Литература по разделу:

Толдова С.Ю., Соколова Е.Г., Астафьева И., Гарейшина А., Королева А., Привознов Д., Сидорова Е., Тупикина Л., Ляшевская О.Н. Оценка методов автоматического анализа текста 2011–2012: синтаксические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог». Вып. 11(18). М.: Изд-во РГГУ, 2012. C. 797-809.

Материал для анализа на семинаре:

Трибанк русского языка с параллельной синтаксической разметкой: http://otipl.philol.msu.ru/~soiza/testsynt/

Раздел 4. Базовые метрики оценки качества систем (2+2)

Тема 1. Лекция

Базовые метрики оценки качества систем для различных типов задач автоматической обработки текста и извлечения информации.

Тема 1. Семинар

Обсуждение различных метрик на примере анализа статей по проведению мероприятий по оценке. Оценка достоинства и недостатков различных методов на практике.

Тема 2. Лекция

Специализированные метрики для отдельных задач АОТ: оценки качества машинного перевода, извлечения именованных сущностей, извлечения событий с применением онтологии и др.

Тема 2. Семинар

Практический разбор примеров. Анализ различных метрик оценки качества.

Литература по разделу:

Маннинг К., Рагхаван П., Шютце Х. Глава 8. Оценка информационного поиска. // Введение в информационный поиск. М.: Вильямс. – 2011, с.165-189.

Толдова С.Ю., Соколова Е.Г., Астафьева И., Гарейшина А., Королева А., Привознов Д., Сидорова Е., Тупикина Л., Ляшевская О.Н. Оценка методов автоматического анализа текста 2011–2012: синтаксические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог». Вып. 11(18). М.: Изд-во РГГУ, 2012. C. 797-809.

Хорошевский В. Ф. Оценка систем извлечения информации из текстов на естественном языке: кто виноват, что делать //Труды Десятой национальной конференции по искусственному интеллекту с международным участием (КИИ-2006).-М.: Физматлит. – 2006. – Т. 2. – С. 464-478. http://masters.donntu.edu.ua/2012/iii/sarry/library/Khorosh/Khoroshevsky.htm

Материал для анализа на семинаре:

Трибанк русского языка с параллельной синтаксической разметкой: http://otipl.philol.msu.ru/~soiza/testsynt/

Раздел 5. Типы тестирования и оценки. (2+2)

Тема 1. Лекция

Типы тестирования и оценки. Функциональное и регрессионное тестирование. Автоматическое и экспертное тестирование.

Тема 1. Семинар

Функциональное тестирование одной из систем автоматической обработки текста: системы автоматического морфологического анализа; системы автоматического синтаксического анализа.

Литература по разделу:

Толдова С.Ю., Соколова Е.Г., Астафьева И., Гарейшина А., Королева А., Привознов Д., Сидорова Е., Тупикина Л., Ляшевская О.Н. Оценка методов автоматического анализа текста 2011–2012: синтаксические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог». Вып. 11(18). М.: Изд-во РГГУ, 2012. C. 797-809.

Ляшевская О.Н., Астафьева И., Бонч-Осмоловская А., Гарейшина А., Гришина Ю., Дьячков В., Ионов М., Королева А., Кудринский М., Литягина А., Лучина Е., Сидорова Е., Толдова С., Савчук С., Коваль С. Оценка методов автоматического анализа текста: морфологические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции «Диалог» (2010). Вып. 9 (16). М.: РГГУ, 2010. С. 318-326.

Материал для анализа на семинаре:

http://www.connexor.com/demo/ - The online demo shows how Machinese analyses language. The featured components are Machinese Phrase Tagger and Machinese Syntax. The supported languages are English, French, German, Spanish, Italian, Dutch, Swedish, Danish, Norwegian and Finnish.

http://aot.ru/demo/synt.html

Раздел 6. Мероприятия по оценке систем автоматической обработки текста. Примеры оценки

Тема 1. Лекция

Анализ примеров проведения мероприятий по отдельным задачам автоматической обработки текста и извлечению информации из неструктурированных источников

Тема 1. Семинар

Доклады по одному из мероприятий: Evalita-2013, MUC-7,

Литература по разделу:

РОМИП. Манифест. http://romip.ru/ru/manifest.html

РОМИП. Общие принципы. http://romip.ru/ru/rules.html

EVALITA – Evaluation of NLP and Speech Tools for Italian http://www.evalita.it/2014

MUC-7 Named Entity Task Definition http://www.itl.nist.gov/iaui/894.02/related_projects/muc/proceedings/ne_task.html

Материал для анализа на семинаре:

Одна из статей для доклада:

Jan Hajič, Massimiliano Ciaramita, Richard Johansson, Daisuke Kawahara, Maria Antonia Mart, Llu´ıs Marquez, Adam Meyers, Joakim Nivre, Sebastian Pado, Jan Štěpánek, Pavel Straňak, Mihai Surdeanu, Nianwen Xue, Yi ZhangThe. CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages. CoNLL '09 Proceedings of the Thirteenth Conference on Computational Natural Language Learning: Shared Task. С. 1 19.

I Chetviorkin, P Braslavskiy, N Loukachevitch. Sentiment Analysis Track at ROMIP 2011//Компьютерная лингвистика и интеллектуальные технологии.–Вып. 11 (18).

Раздел 7. Создание формализованного описания принципов и методики тестирования (2+4)

Тема 1. Лекция

Принципы создания формализованного описания принципов и методики тестирования

Семинар 1-2.

Практическая работа по созданию описания методики тестирования

Самостоятельная работа

Общий объем самостоятельной работы 112 часов


Тема	Кол-во часов	Тип задания
1	2	Чтение литературы
2	30	Чтение литературы, практическое задание: сбор корпуса и аннотация
3	20	Чтение литературы, практическое задание: анализ ошибок системы, инструкции асессору
4	10	Чтение литературы, тест: вычисление основных метрик по одной из задач АОТ
5	20	Тест: функциональное тестирование системы
6	15	Подготовка доклада по одному из мероприятий по оценке систем автоматической обработки текста
7	15	Практическое задание: инструкция по принципам и методам тестирования
	112