Государственное учреждение высшего профессионального образования Санкт-Петербургский государственный технологический институт (Технический университет)

Скачать 1.41 Mb.

Название	Государственное учреждение высшего профессионального образования Санкт-Петербургский государственный технологический институт (Технический университет)
страница	11/16
Дата публикации	24.08.2013
Размер	1.41 Mb.
Тип	Диссертация

100-bal.ru > Информатика > Диссертация

1 ... 8 9 10 11 12 13 14 15 16

Категоризация Интернет-контента

Одной из главных особенностей нашего времени есть постоянный рост темпов производства информации. Этот процесс объективен и в целом, безусловно, позитивен. Однако на сегодняшний день человечество встретилось с парадоксальной, на первый взгляд, ситуацией: прогресс в области производства информации ведет к снижению общего уровня информированности. Поэтому особенно для высших учебных заведений очень важной задачей становится, не сама предоставление возможностей Интернет для повышения эффективности образовательного процесса, а именно отсечь пользователей от доступа к нежелательной информации.

Для реализации системы фильтрации Интернет-контента в первую очередь необходимо выбрать признаки и категории классификации Интернет-ресурсов, то есть создать список категорий Интернет-ресурсов и соответствующие им ключевые слова.

В разрабатываемой системе управления доступом в Интернет было решено использовать категории, которые предложены в IBM Web Filter Database [16]. Данный набор категорий представляет собой список, охватывающий широкий спектр отраслей и предназначен для категоризации различного рода документов, к которым можно отнести и сайты Интернет. Список категорий представлен в таблице 6.
Таблица 6 – Список категорий контента

Название категории в IBM	Название категории по-русски
Undefined	Неопознанная
Pornography	Порнография
Erotic / Sex	Эротика/секс
Swimwear / Lingerie	Нижнее бельё
Shopping	Покупки
Auctions / Classified Ads	Аукционы
Governmental Organizations	Правительственные организации
Non-Governmental Organizations	Неправительственные организации
Cities / Regions / Countries	Регионы
Education	Образование
Political Parties	Политические партии
Religion	Религия
Sects	Секты
Illegal Activities	Незаконная деятельность
Computer Crime	Компьютерные преступления
Political Extreme / Hate / Discrimination	Экстримизм
Warez / Hacking / Illegal Software	Взлом ПО
Violence / Extreme	Насилие
Gambling / Lottery	Азартные игры
Computer Games	Компьютерные игры
Toys	Игрушки
Cinema / Television	Кино и телевидение
Recreational Facilities/Amusement / Theme Parks	Места отдха
Art / Museums / Memorials / Monuments	Искусство
Music	Музыка
Literature / Books	Книги / Литература
Humor / Comics	Юмор
Продолжение таблицы 6
Название категории в IBM	Название категории по-русски
General News / Newspapers / Magazines	Газеты / Журналы
Web Mail	Почта
Chat	Чат
Newsgroups / Bulletin Boards / Blogs	Новости
Mobile Telephony	Мобильные телефоны
Digital Postcards	Эл. Открытки
Search Engines / Web Catalogs / Portals	Поисковые системы
Software / Hardware / Distributors	ПО / АО
Communication Services	Службы связи
IT Security / IT Information	Информационные технологии
Website Translation	Переводчики
Anonymous Proxies	Анонимные proxy-серверы
Illegal Drugs	Наркотики
Alcohol	Алкоголь
Tobacco	Табак
Dating / Relationships	Знакомства
Restaurants / Bars	Рестораны / Бары
Travel	Путешествия
Fashion / Cosmetics / Jewelry	Мода
Sports	Спорт
Building / Residence / Architecture / Furniture	Строительство
Nature / Environment / Animals	Природа
Personal Homepages	Домашние странички
Job Search	Поиск работы
Investment Brokers / Stocks	Ценные бумаги
Financial Services / Investment / Insurance	Финансы
Banking / Home Banking	Банки
Vehicles / Transportation	Транспорт
Weapons / Military	Оружие / Армия
Health	Здоровье
Abortion	Аборты
Instant Messaging	Интернет - пейджеры

Категоризация данных и формирование баз категорий производится в полуавтоматическом режиме — сначала выполняются анализ содержимого и определение категории с помощью специально разработанных средств, основанных на системе распознавания текстов. После чего полученная информация часто проверяется администраторами, принимающими решение о том, к какой категории можно отнести тот или иной сайт. Для этого используется локальная база категорий с регулярным обновлением.

Для работы автоматизированной системы распознавания необходимо каждой категории сопоставить список ключевых слов, и весов этих слов, по которым и будет определяться категория ресурса. Для этого при работе системы происходит её автоматическое обучение, то есть слова, встречающиеся в содержании сайта, автоматически становятся ключевыми для определенной категории. Однако тут необходимо учитывать слова, которые не несут смысловой нагрузки.

Согласно принципу Г. Луна самые часто встречающиеся в языке слова являются не самыми значимыми. В соответствии с этим принципом к неключевым словам можно относить все местоимения, предлоги и частицы.

1 ... 8 9 10 11 12 13 14 15 16

Похожие:

	P, V, T, X свойства бинарных смесей вода-диметилсульфоксид (2-пропанол),... Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский государственный технологический...		Древняя Греция и Рим : общее и особенное в культуре Санкт-Петербургский государственный технологический институт (технический университет)
	Курс лекций © Саратовский Государственный Технический Университет.... Федеральное государственное автономное образовательное учреждение высшего профессионального образования		Нанотехнология молекулярного наслаивания: принципы и применение Санкт-Петербургский государственный технологический институт (технический университет), malygin@lti-gti ru
	Методические указания по выполнению реферата Волгоград Ысшего профессионального образования «волгоградский государственный технический университет» камышинский технологический институт...		Санкт-петербургский государственный университет Федеральное государственное образовательное учреждение высшего профессионального образования
	«Иконопись» Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский Государственный Медицинский...		Диссертации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «санкт-петербургский государственный...
	В. К. Федюкин Санкт-Петербургский государственный инженерно-экономический университет Федеральное государственное автономное образовательное учреждение высшего профессионального образования		Государственный Университет – Высшая школа Экономики Санкт – Петербургский филиал Государственное образовательное бюджетное учреждение высшего профессионального образования
	Государственное образовательное учреждение высшего профессионального... Выполнение контрольной работы по итогам изучения курса немецкого языка: методические указания / Сост. М. Ф. Меренок; Волгоград гос...		Реферат на тему: «Конструктивизм и «Сталинский ампир» Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский Государственный Медицинский...
	«Медицина в Древней Месопатамии и Древнем Египте» Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский Государственный Медицинский...		Реферат на тему: «Смертная казнь: За» Работа Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский Государственный Медицинский...
	Санкт-Петербургский государственный морской технический университет... Рецензия на книгу: С. А. Остроумов "Биотический механизм самоочищения пресных и морских вод: элементы теории и приложения" (Москва,...		Реферат на тему: «Народ и самозванцы в смутное время» Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургский Государственный Медицинский...

Школьные материалы