Программа дисциплины «Оценка лингвистических систем и компонентов»  для направления 035800. 68 «Фундаментальная и прикладная лингвистика»

8Образовательные технологии

8.1Методические рекомендации преподавателю

8.2Методические указания студентам

9Оценочные средства для текущего контроля и аттестации студента

9.1Вопросы для оценки качества освоения дисциплины

1. 
   Цели и задачи оценки лингвистических систем и компонентов
   
2. 
   Основные мероприятия по оценке качества информационного поиска в России
   
3. 
   Зарубежные мероприятия по оценке информационного поиска
   
4. 
   Основные мероприятия по оценке работы семантических модулей автоматической обработки текста
   
5. 
   Основные мероприятия по оценке систем извлечения информации из текста
   
6. 
   Основные типы тестирования систем
   
7. 
   Базовые метрики и технологии оценки качества систем автоматического анализа текста
   
8. 
   Специальные метрики по оценке качества систем машинного перевода
   
9. 
   Специальные метрики по оценке систем выделения именованных сущностей и автоматического анализ кореференции
   

9.2Примеры заданий промежуточного /итогового контроля

1. 
   Перечислить типы конструкций и направления связей, разбор которых расходится с Вашей интуицией, но, по вашему мнению, это системное решение.
   

2. 
   Перечислите наиболее частые типы ошибок системы (случаев, которые, по Вашему мнению, не являются системными решениями).
   
3. 
   Найдите 3 примера допустимой омонимии.
   
4. 
   Воспользовавшись поиском, определите, какие «неканонические» случаи система относит к одной из типов связей, перечисленных ниже:
   

1. 
   предикат – подлежащее (subj);
   
2. 
   глагол + инфинитив (inf);
   
3. 
   вспомогательный глагол + зависимое (aux).
   
1. 
   Сравнить расхождения систем, которые встретились в Ваших предложениях.
   
2. 
   Вычислите точность, полноту и F-меру
   

10Учебно-методическое и информационное обеспечение дисциплины

10.1Базовый учебник

• 
  Кибрик А.А., И.М.Кобозева И.М., Секерина И.А. (ред.) Современная американская лингвистика. Фундаментальные направления. — Изд. 4-е. — М.: Книжный дом «ЛИБРОКОМ», 2010
  

10.2Основная литература

• 
  Баранов А.Н. Корпусная лингвистика // Баранов А.Н. Введение в прикладную лингвистику. М., 2001. С.112-137.
  
• 
  Кристофер Д. Маннинг, Прабхакар Рагхаван, Хайнрих Шютце Введение в информационный поиск, М. Вильямс, 2011
  
• 
  
  
• 
  John Carroll, Ted Briscoe. Corpus Annotation for Parser Evaluation // Proceedings of the EACL-99 Post-Conference Workshop on Linguistically Interpreted Corpora, Bergen, Norway. 35-41. URL: http://arxiv.org/pdf/cs/9907013v1.pdf
  
• 
  Маннинг К., Рагхаван П., Шютце Х. Глава 8. Оценка информационного поиска. // Введение в информационный поиск. М.: Вильямс. – 2011, с.165-189.
  
• 
  Хорошевский В. Ф. Оценка систем извлечения информации из текстов на естественном языке: кто виноват, что делать //Труды Десятой национальной конференции по искусственному интеллекту с международным участием (КИИ-2006).-М.: Физматлит. – 2006. – Т. 2. – С. 464-478. URL: http://masters.donntu.edu.ua/2012/iii/sarry/library/Khorosh/Khoroshevsky.htm
  
• 
  Ляшевская О.Н., Астафьева И., Бонч-Осмоловская А., Гарейшина А., Гришина Ю., Дьячков В., Ионов М., Королева А., Кудринский М., Литягина А., Лучина Е., Сидорова Е., Толдова С., Савчук С., Коваль С. Оценка методов автоматического анализа текста: морфологические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции «Диалог» (2010). Вып. 9 (16). М.: РГГУ, 2010. С. 318-326. URL: http://www.hse.ru/pubs/lib/data/access/ticket/1392872029e1cfd77bc8831a60340123b3805ff466/Dialog2010_RuEval.pdf
  
• 
  РОМИП. Манифест. http://romip.ru/ru/manifest.html
  
• 
  РОМИП. Общие принципы. http://romip.ru/ru/rules.html
  
• 
  EVALITA – Evaluation of NLP and Speech Tools for Italian http://www.evalita.it/2014