Программа дисциплины «Оценка лингвистических систем и компонентов»  для направления 035800. 68 «Фундаментальная и прикладная лингвистика»

10.3Дополнительная литература

• 
  Толдова С.Ю., Соколова Е.Г., Астафьева И., Гарейшина А., Королева А., Привознов Д., Сидорова Е., Тупикина Л., Ляшевская О.Н. Оценка методов автоматического анализа текста 2011–2012: синтаксические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог». Вып. 11(18). М.: Изд-во РГГУ, 2012. C. 797-809. URL: http://www.dialog-21.ru/digests/dialog2012/materials/pdf/Toldova.pdf
  
• 
  Jan Hajič, Massimiliano Ciaramita, Richard Johansson, Daisuke Kawahara, Maria Antonia Mart, Llu´ıs Marquez, Adam Meyers, Joakim Nivre, Sebastian Pado, Jan Štěpánek, Pavel Straňak, Mihai Surdeanu, Nianwen Xue, Yi ZhangThe. CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages. CoNLL '09 Proceedings of the Thirteenth Conference on Computational Natural Language Learning: Shared Task. С. 1 19. URL: http://www.mt-archive.info/CoNLL-2009-Hajic.pdf
  
• 
  I Chetviorkin, P Braslavskiy, N Loukachevitch. Sentiment Analysis Track at ROMIP 2011//Компьютерная лингвистика и интеллектуальные технологии.–Вып. 11 (18)
  

10.4Программные средства

• 
  http://www.connexor.com/demo/
  
• 
  http://aot.ru/demo/synt.html
  
• 
  http://nlp.stanford.edu/links/statnlp.html
  
• 
  http://visl.sdu.dk/visl/en/parsing/automatic/trees.php
  
• 
  http://otipl.philol.msu.ru/~soiza/rtb/res01/rtb.php
  
• 
  http://otipl.philol.msu.ru/~soiza/testsynt/
  

11Материально-техническое обеспечение дисциплины

Практическое задание-4. Задание по анализу работы морфологических разметчиков.

http://www.connexor.com/demo/ - The online demo shows how Machinese analyses language. The featured components are Machinese Phrase Tagger and Machinese Syntax. The supported languages are English, French, German, Spanish, Italian, Dutch, Swedish, Danish, Norwegian and Finnish.

1. 
   Подготовьте файл для функционального тестирования и протестируйте одну из систем.
   

1. 
   Как решаются проблемы токенизации: что происходит с числами, десятичными числами, сокращениями типа г., словами с дефисами, апострофом, знаками препинания? спецзнаками типа $ или &, смешанными элементами (буквы+цифры, вкраплениями другого алфавита) etc. ?
   
2. 
   Умеет ли система предсказывать незнакомые слова? Насколько хорошо предсказываются их грамматические характеристики, их леммы?
   
3. 
   Что происходит с омонимичными словоформами: предлагается только один максимально вероятный вариант, предлагаются все возможные варианты, предлагаются все варианты, за исключением очень маловероятных случаев или случаев, снимаемых "надежными" правилами и т.п.
   
4. 
   Какие типы омонимии разрешаются хорошо, в каких часто возникают ошибки и т.п.
   
1. 
   Обработайте с помощью морфологического парсера 2 текста разных жанров объемом 1000 словоупотреблений. Оцените работу системы по следующим метрикам:
   

• 
  Уровень оставшейся неоднозначности: число элементов в Output(W) для всех  слов текста, поделенное на число слов в тексте.  Если алгоритм работает однозначно, то этот параметр равняется 1.
  
• 
  Лексическая точность алгоритма - число слов текста, для которых лемма приписана правильно, поделенное на общее число слов в тексте.
  
• 
  Точностью  назовем число слов текста, для которых в выходном файле осталась правильная морфологическая интерпретация, поделенное на общее число слов в тексте.
  
• 
  Полнота – отношение числа разобранных словоупотреблений к числу словоупотреблений в тексте.
  

Практическое задание 5. Тестирование синтаксических парсеров

• 
  Какие типы синтаксических связей (составляющих) данные разметчики анализируют наиболее надежно?
  
• 
  Какие типы синтаксических связей представляют сложности для разметки?
  
• 
  Представляет ли разметчик полный или только частичный синтаксический разбор?
  
• 
  Влияет ли на результат разбора порядок слов?
  
• 
  Как анализируются предложения с омонимичными словоформами (которым можно приписать 2 и более морфологических тэга), с неизвестными словоформами, с числовыми вставками?
  
• 
  Как решается вопрос синтаксической омонимией?
  
• 
  Используя лекцию по синтаксической разметке, укажите, какие проблемные места при синтаксической разметке могут возникать, проанализируете, как с ними справляются данные разметчики (3-4 проблемы)?
  
• 
  Как справляются разметчики с «разрывными составляющими»?
  
• 
  Вспомните плюсы и минусы двух формализмов (НС и зависимости): как эти плюсы и минусы проявляются при реальной работе автоматических синтаксических парсеров, основанных на этих двух формализмах? (см. также лекцию и #Приложение2)