Министерство образования Российской Федерации
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ
ЭЛЕКТРОНИКИ И МАТЕМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)
ОТЧЕТ О ЛАБОРАТОРНОЙ РАБОТЕ
Методы и средства анализа данных
по теме:
«Лабораторная работа с системой анализа данных Weka. Сравнение методов классификации»
Руководитель темы ______________ И. Игнатьев
подпись, дата
Исполнитель ______________ А. Булатов
подпись, дата Группа С-75
СОДЕРЖАНИЕ
СОДЕРЖАНИЕ 2
РЕФЕРАТ 3
ВВЕДЕНИЕ 4
ОСНОВНАЯ ЧАСТЬ 5
Задание: над своими данными провести сравнение всех алгоритмов классификации, использованных в первой лабораторной работе 5
ЗАКЛЮЧЕНИЕ 11
НАБОР ДАННЫХ 12
РЕФЕРАТ
Отчет страницы
WEKA, EXPERIMENTER, JAVA, КЛАССИФИКАЦИЯ, МЕТОД БАЙЕСА, J4.8, ID3, 1R, SVM, АССОЦИАТИВНЫЕ ПРАВИЛА, МЕТОД АПРИОРИ, ПОДГОТОВКА ДАННЫХ, ОПРЕДЕЛЕНИЕ ПРИМЕНИМОСТИ, EXPERIMENTER
Объектом изучения является применимость методов анализа к конкретным данным.
Основной задачей лабораторной является определение применимости методов анализа данных к определенным данным.
В результате работы были получены данные о применимости методов анализа.
ВВЕДЕНИЕ
Лабораторная работа посвящена предварительной подготовке к анализу данных в системе анализа данных Weka. На этот раз используемый интерфейс - Experimenter. Он предназначен для сравнение применимости методов анализа данных (конкретно - построения классификаторов) к конкретным данным вне зависимости от их тематической направлености на основе статистических механизмов оценки качества построенных классификаторов (к примеру, кросс-проверке). Фактически, он просто много раз выполняет кросс-проверку для каждого из методов и на основе полученных данных создает новую совокупность данных - о результатах этих многочисленных кросс-проверок.
ОСНОВНАЯ ЧАСТЬ Задание: над своими данными провести сравнение всех алгоритмов классификации, использованных в первой лабораторной работе
Окно загрузки данных и выбора методов, которые будут сравниваться в дальнейшем ходе исследования. Количество проходов кросс-валидации устанавливаем равным 15, а количество проходов каждого алгоритма устанавливается равным 10.
В моем варианте сравнение методов производиться по полю “Percent Correct”. Т.е. по количеству правильно классифицированных данных в процентах. Ставим галочку “Show standard deviations”.
При выборе методов классификации было решено исключить алгоритм id3, так как он требовал предварительной фильтрации данных, а в интерфейсе Experimenter отсутствует возможность сравнения методов с различными входмыми наборами данных.
Окно с выводом результатов исследования методов. Выводится таблица в строках которой указываеются методы классификации, а в рядах входные наборы данных. В нашем случае имеется только один входной набор данных. В последней строке указывается что алгоритм статитически лучше/нейтрален/хуже других в данном исследовании.
Результат вывода:
Analysing: Percent_correct
Datasets: 1
Resultsets: 4
Confidence: 0.05 (two tailed)
Date: 14.12.08 11:36
Dataset (1) bayes.NaiveBaye | (2) trees.J48 '- (3) rules.OneR ' (4) functions.SM
--------------------------------------------------------------------------
income (150) 82.29( 6.29) | 85.71( 5.78) v 81.50( 3.66) 82.95( 6.08)
--------------------------------------------------------------------------
(v/ /*) | (1/0/0) (0/1/0) (0/1/0)
Skipped:
Key:
(1) bayes.NaiveBayes '' 5995231201785697655
(2) trees.J48 '-C 0.25 -M 2' -217733168393644444
(3) rules.OneR '-B 6' 3010129309850089072
(4) functions.SMO '-C 1.0 -E 1.0 -G 0.01 -A 250007 -L 0.0010 -P 1.0E-12 -N 0 -V -1 -W 1' -6585883636378691736
Анализ результата:
В нашем случае все 4 исследуемых алгоритма показывают достаточно близкую точность:
trees.J48 -- 85.71( 5.78)
functions.SMO -- 82.95( 6.08)
bayes.NaiveBayes -- 82.29( 6.29)
rules.OneR -- 81.50( 3.66)
В таком порядке можно расположить алгоритмы по точности. С скобках указывается стандартное отклонение.
В последней строке описанной выше таблицы показывается то, что лучше всех алгоритм J48, 1R и SMO (SVM) нейтральны.
Далее рассматривается Summary:
Summary:
Analysing: Percent_incorrect
Datasets: 1
Resultsets: 4
Confidence: 0.05 (two tailed)
Date: 14.12.08 12:37
a b c d (No. of datasets where [col] >> [row])
- 0 (0) 1 (0) 0 (0) | a = bayes.NaiveBayes '' 5995231201785697655
1 (1) - 1 (1) 1 (1) | b = trees.J48 '-C 0.25 -M 2' -217733168393644444
0 (0) 0 (0) - 0 (0) | c = rules.OneR '-B 6' 3010129309850089072
1 (0) 0 (0) 1 (0) - | d = functions.SMO '-C 1.0 -E 1.0 -G 0.01 -A 250007 -L 0.0010 -P 1.0E-12 -N 0 -V -1 -W 1' -6585883636378691736
В правой части указывается метод классификации и его параметры, заданные при выборе классификаторов. Эта матрица показывает наборы данных в которых один алгоритм статитически лучше/нейтрален/хуже другого. В нашем случае использовался только 1 набор данных. По данной матрице видно что J48 показал себя лучше других алгоритмов.
Рассмотрим матрицу Ranking:
Ranking:
Analysing: Percent_incorrect
Datasets: 1
Resultsets: 4
Confidence: 0.05 (two tailed)
Date: 14.12.08 12:39
>-< > < Resultset
1 1 0 functions.SMO '-C 1.0 -E 1.0 -G 0.01 -A 250007 -L 0.0010 -P 1.0E-12 -N 0 -V -1 -W 1' -6585883636378691736
1 1 0 rules.OneR '-B 6' 3010129309850089072
1 1 0 bayes.NaiveBayes '' 5995231201785697655
-3 0 3 trees.J48 '-C 0.25 -M 2' -217733168393644444
В правой части указывается метод и его настройки. Эта таблица выводит количество наборов данных, в котором победил или проиграл определенный алгоритм.
Опять же в нашем случае использовался только 1 набор данных, и как и ранее J48 победил.
ЗАКЛЮЧЕНИЕ
В результате работы было произведено сравнение алгоритмов по точности классификации. Результаты этого сравнения и были представлены в работе.
НАБОР ДАННЫХ
datamining400-01
Москва 2008
|
 | Отчет о лабораторной работе методы и средства анализа данных по теме:...
«Лабораторная работа с системой анализа данных Weka. Сравнение методов классификации»
| | Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, data mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
|
| Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, data mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
| | Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, data mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
|
| Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, data mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
| | Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, Data Mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
|
| Отчет о лаботарорной работе методы и средства анализа данных по теме:...
Методы классификации, data mining, метод байеса, 8, id3, 1R, svm, ассоциативные правила, метод априори
| | Опыт применения методов интеллектуального анализа данных в компаративистских...
В работе описываются предварительные результаты анализа данных из Базы данных “Языки мира” с применением методов DataMining и пакета...
|
 | К методическим указаниям о порядке формирования и использования информационного...
Средства анализа, консолидации и агрегации данных (технологии многомерного анализа (olap), технологии хранилища данных (Data Warehouse)...
| | Методические рекомендации по изучению дисциплины «Анализ данных в...
«Анализ данных в социологии»: познакомился с основными направлениями анализа данных в социологии, осуществляемых с помощью математических...
|
| Анализа данных-4: анализ издержки-выгод
Методы анализа данных-4: анализ издержки-выгоды, анализ издержки-эффективность (17 ноября 2005)1
| | Программа дисциплины Qualitative and Quantitative Methods of Data...
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления подготовки/ специальности...
|
| Отделение статистики, анализа данных и демографии статистические...
Методические рекомендации в помощь преподавателю: издание гаоу спо «Уфимский топливно – энергетический колледж». – Уфа, 2012г
| | Лицензионный договор – публичная оферта о передаче неисключительных...
«Анализ данных в социологии»: познакомился с основными направлениями анализа данных в социологии, осуществляемых с помощью математических...
|
| Рабочая программа по дисциплине Аналитическая химия и физико-химические методы анализа
Цели и задачи дисциплины: Освоение теоретических основ современных химических методов анализа, аналитических методик и приемов, статистической...
| | Анализ данных науки, образования и инновационной деятельности с использованием...
В данной статье будет описан метод анализа паттернов и результаты его применения к поставленной проблеме анализа развития науки,...
|
