Министерство образования Российской Федерации
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ
ЭЛЕКТРОНИКИ И МАТЕМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)
ОТЧЕТ О ЛАБОТАРОРНОЙ РАБОТЕ
Методы и средства анализа данных
по теме:
«Система анализа данных WEKA»
Руководитель темы ______________ И. Игнатьев
подпись, дата
Исполнитель ______________ Г. Петров
подпись, дата Группа С-75
СОДЕРЖАНИЕ
СОДЕРЖАНИЕ 2
РЕФЕРАТ 3
ВВЕДЕНИЕ 4
Задание 1: Подготовить исходный файл в формате *.arff. 5
Классификация методом Naïve Bayes. 8
Классификация методом J4.8 (модификация С4.5). 10
Классификация методом ID3. 12
Классификация методом 1R (в системе Weka называется OneRule). 14
Классификация методом SVM (в Weka называется SMO). 15
Задание 3: Построение ассоциативных правил. 16
Метод Априори. 16
НАБОР ДАННЫХ 19
РЕФЕРАТ
Отчет 17 страниц
WEKA, МЕТОДЫ КЛАССИФИКАЦИИ, DATA MINING, МЕТОД БАЙЕСА, J4.8, ID3, 1R, SVM, АССОЦИАТИВНЫЕ ПРАВИЛА, МЕТОД АПРИОРИ
Объектом изучения являются система анализа данных WEKA.
Цель работы – практическое освоение методов классификации и методов составления ассоциативных правил.
В процессе работы проводились экспериментальные исследования работы алгоритмов.
В результате были изучены методы классификации и составления ассоциативных правил.
ВВЕДЕНИЕ
Лабораторная работа посвящена анализу данных в системе анализа данных Weka. Эта система написана на Java и представляет собой систему библиотек функции обработки данных, плюс несколько графических интерфейсов к этим библиотекам. Основной интерфейс системы - Explorer. Он позволяет выполнять практически все действия, которые предусмотрены в системе. Именно в нем мы будем работать. Также в системе Weka предусмотрены другие интерфейсы - Knowledge Flow для работы с большими массивами данных (Explorer загружает все дынные в память сразу, и потому работа с большими массивами затруднена) и Experimenter для экспериментального подбора наилучшего метода анализа данных.
В данной лабораторной работе изучаются методы классификации и поиска ассоциативных правил. Для лучшего понимания различий между данными методами используется система анализа данных Weka, в которой все исследуемые методы применяются к одному и тому же набору исходных данных, а полученные результаты анализируются и сравниваются между собой.
ОСНОВНАЯ ЧАСТЬ
Задание 1: Подготовить исходный файл в формате *.arff.
Поэтому первая задача - перевести таблицу, содержащую данные, в формат csv и модифицировать ее.
Модификация состоит в добавлении полей метаданных: в начало файла на отдельных строчках названия зависимости @relation имя, описания атрибутов @attribute имя тип и @data перед началом самих данных. Типы данных следующие: численные (numeric, real, integer), перечислимые(nominal) (задаются перечислением вида {i1, ..., in}), строковые (string), дата (date [date format]).
Листинг 1
@relation income
@attribute age numeric
@attribute workclass {Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked}
@attribute fnlwgt numeric
@attribute education {Bachelors, Some-college, 11th, HS-grad, Prof-school, Assoc-acdm, Assoc-voc, 9th, 7th-8th, 12th, Masters, 1st-4th, 10th, Doctorate, 5th-6th, Preschool}
@attribute education-num numeric
@attribute marital-status {Married-civ-spouse, Divorced, Never-married, Separated, Widowed, Married-spouse-absent, Married-AF-spouse}
@attribute occupation {Tech-support, Craft-repair, Other-service, Sales, Exec-managerial, Prof-specialty, Handlers-cleaners, Machine-op-inspct, Adm-clerical, Farming-fishing, Transport-moving, Priv-house-serv, Protective-serv, Armed-Forces}
@attribute relationship {Wife, Own-child, Husband, Not-in-family, Other-relative, Unmarried}
@attribute race {White, Asian-Pac-Islander, Amer-Indian-Eskimo, Other, Black}
@attribute sex {Female, Male}
@attribute capital-gain numeric
@attribute capital-loss numeric
@attribute hours-per-week numeric
@attribute native-country {United-States, Cambodia, England, Puerto-Rico, Canada, Germany, Outlying-US(Guam-USVI-etc), India, Japan, Greece, South, China, Cuba, Iran, Honduras, Philippines, Italy, Poland, Jamaica, Vietnam, Mexico, Portugal, Ireland, France, Dominican-Republic, Laos, Ecuador, Taiwan, Haiti, Columbia, Hungary, Guatemala, Nicaragua, Scotland, Thailand, Yugoslavia, El-Salvador, Trinadad&Tobago, Peru, Hong, Holand-Netherlands}
@attribute income {>50K, <=50K}
@data
статистические данные для анализа
В листинге 1 показан измененный исходный файл, сохраненный в формате *.arff. Отношение было названо age. Далее перечислены все атрибуты, их типы и возможные значения.
Например: атрибут age имеет тип numeric – это числовые данные, показывающие возраст. Атрибут workclass имеет тип nominal, в фигурных скобках перечисляются возмодные значения этого атрибута: Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked.
Пере началом данных вставлено @data.
Задание 2: Классификация исходных данных различными методами.
Классифицировать исходные данные наивным байесовским методом, методом J4.8 (модификация С4.5), методом ID3, методом 1R, методом SVM (в среде Weka он называется SMO). В случае невозможности применить метод к данным воспользоваться фильтрами. Описать полученные результаты.
Файл *.arff необходимо загрузить в систему. Это делается при помощи кнопки Open File вкладки Preprocess. На данной вкладке можно загрузить файл в систему, а затем редактировать загруженные данные. Редактирование может осуществляться как вручную, так и наложением на данные фильтра для их очищения и/или трансформации. Фильтры необходимы для модификации данных таким образом чтобы стало возможно применение различных методов. Так, например, некоторые методы могут работать только с перечислимым типом данных. Для этого при помощи фильтра RemoveType можно убрать из набора данные неподходящих типов.
 Рисунок 1
На рисунке 1 показано глевное окно Weka Explorer с открытым набором данных. На графине в нижнем правом углу показано отношение между age и income.
Во складке Classify при помощи кнопки Choose выбирается метод классификации. После выбора метода классификации (классификатора, classifier) необходимо выбрать метод проверки. Основным методом является кросс-проверка (cross-validation), однако можно также проводить проверку результатов анализа на обучающем множестве(training set), на специальном тестовом множестве (supplied test set) и на тестовой части обучающего множества (Percentage Split).
После этого требуется выбрать зависимую переменную классификации.
После этого нажимается кнопка Start. По завершении анализа заполнится окно Output и добавится новая запись в окно Result.
С нашем случае методом проверки является кросс-проверка. Суть ее в том что исходный набор данных в какой-либо пропорции разбивается на обучающее и проверочное множества. Далее по обучающему множеству данные классифицируются, а по проверочному проверяются. Таким образом и вычисляется ошибка.
Классификация методом Naïve Bayes.
Этот алгоритм применяется сразу к исходным данным без какого либо их изменения. Т.е. не приходилось использовать фильтры. Пример вывода результата работы алгоритма в окне Weka представлен в листинге 2.
Листинг 2
Naive Bayes Classifier
Class >50K: Prior probability = 0.26
age: Normal Distribution. Mean = 44.1189 StandardDev = 9.6114 WeightSum = 103 Precision = 1.2166666666666666
workclass: Discrete Estimator. Counts = 63 11 14 4 6 9 1 1 (Total = 109)
fnlwgt: Normal Distribution. Mean = 190644.9372 StandardDev = 107359.4011 WeightSum = 103 Precision = 1877.8261964735516
education: Discrete Estimator. Counts = 34 15 2 31 4 5 4 1 1 1 13 1 1 4 1 1 (Total = 119)
education-num: Normal Distribution. Mean = 11.534 StandardDev = 2.1758 WeightSum = 103 Precision = 1.0
marital-status: Discrete Estimator. Counts = 93 5 4 1 5 1 1 (Total = 110)
occupation: Discrete Estimator. Counts = 3 12 2 15 29 27 1 5 7 4 5 1 3 1 (Total = 115)
relationship: Discrete Estimator. Counts = 14 2 78 10 2 3 (Total = 109)
race: Discrete Estimator. Counts = 100 4 1 1 2 (Total = 108)
sex: Discrete Estimator. Counts = 18 87 (Total = 105)
capital-gain: Normal Distribution. Mean = 1403.9417 StandardDev = 3556.699 WeightSum = 103 Precision = 939.0
capital-loss: Normal Distribution. Mean = 265.7282 StandardDev = 689.9007 WeightSum = 103 Precision = 201.25
hours-per-week: Normal Distribution. Mean = 46.8252 StandardDev = 12.2015 WeightSum = 103 Precision = 2.3333333333333335
native-country: Discrete Estimator. Counts = 97 1 1 1 2 1 1 2 1 1 1 2 1 1 1 2 1 1 2 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 (Total = 143)
Class <=50K: Prior probability = 0.74
age: Normal Distribution. Mean = 37.8027 StandardDev = 14.2967 WeightSum = 297 Precision = 1.2166666666666666
workclass: Discrete Estimator. Counts = 221 24 8 5 16 6 1 1 (Total = 282)
fnlwgt: Normal Distribution. Mean = 189755.2856 StandardDev = 102801.7557 WeightSum = 297 Precision = 1877.8261964735516
education: Discrete Estimator. Counts = 39 69 13 113 3 10 22 5 6 3 11 3 9 2 3 2 (Total = 313)
education-num: Normal Distribution. Mean = 9.7845 StandardDev = 2.3023 WeightSum = 297 Precision = 1.0
marital-status: Discrete Estimator. Counts = 105 58 112 8 15 5 1 (Total = 304)
occupation: Discrete Estimator. Counts = 12 36 42 28 26 33 12 26 37 10 19 3 3 1 (Total = 288)
relationship: Discrete Estimator. Counts = 11 63 94 93 2 40 (Total = 303)
race: Discrete Estimator. Counts = 257 10 3 1 31 (Total = 302)
sex: Discrete Estimator. Counts = 109 190 (Total = 299)
capital-gain: Normal Distribution. Mean = 113.8182 StandardDev = 634.564 WeightSum = 297 Precision = 939.0
capital-loss: Normal Distribution. Mean = 39.979 StandardDev = 258.8344 WeightSum = 297 Precision = 201.25
hours-per-week: Normal Distribution. Mean = 38.6453 StandardDev = 12.2163 WeightSum = 297 Precision = 2.3333333333333335
native-country: Discrete Estimator. Counts = 267 1 1 1 1 3 1 4 3 1 2 2 1 2 1 1 2 1 1 1 10 1 1 1 2 1 1 2 1 1 1 2 1 1 1 2 1 1 1 1 1 (Total = 331)
Time taken to build model: 0.02 seconds
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 320 80 %
Incorrectly Classified Instances 80 20 %
Kappa statistic 0.4339
Mean absolute error 0.2061
Root mean squared error 0.4018
Relative absolute error 53.8053 %
Root relative squared error 91.8868 %
Total Number of Instances 400
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure Class
0.495 0.094 0.646 0.495 0.56 >50K
0.906 0.505 0.838 0.906 0.871 <=50K
=== Confusion Matrix ===
a b <-- classified as
51 52 | a = >50K
28 269 | b = <=50K
Этот метод основывается на анализе данных по всем исходным переменным. Формулируются правила, в условных частях которых сравниваются все независимые переменные с соответсввующими возможными значениями. Оценив ошибки, выбирается переменная, для которой ошибка набора минимальна. Для каждого значения атрибута обучающего множества приводится его вероятность, а также выкладки по всем атрибутам тестового множества, включающие в себя средние значения и точность (количество совпадений тестового набора и обучающего множества) для численных (перечислимых) типов данных. В результате кросс-проверки получаем достаточно высокий процент верной классификации (80%), а также относительно небольшую среднюю абсолютную ошибку.
Классификация методом J4.8 (модификация С4.5).
Этот алгоритм также применяется к исходным данным без их изменения. Результатом его работы является дерево решений, которое можно увидеть в виде дерева(рисунок 2), и текста (листинг 3).
Листинг 3
Number of Leaves : 66
Size of the tree : 82
Time taken to build model: 0.13 seconds
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 312 78 %
Incorrectly Classified Instances 88 22 %
Kappa statistic 0.3939
Mean absolute error 0.239
Root mean squared error 0.3941
Relative absolute error 62.395 %
Root relative squared error 90.1213 %
Total Number of Instances 400
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure Class
0.495 0.121 0.586 0.495 0.537 >50K
0.879 0.505 0.834 0.879 0.856 <=50K
=== Confusion Matrix ===
a b <-- classified as
51 52 | a = >50K
36 261 | b = <=50K
 Рисунок 2
В этом случае дерево имеет лучший вид, чем при использовании метода ID3. Это вызвано 2 улучшениями алгоритма, по сравнению с ID3:
Возможность работать не только с категориальными атрибутами, но также с числовыми.
После построения дерева происходит усечение его ветвей. Если получившееся дерево слишком велико, выполняется либо группировка нескольких узлов в один лист, либо замещение узла дерева нижележащим поддеревом. Перед операцией над деревом вычисляется ошибка правила классификации, содержащегося в рассматриваемом узле. Если после замещения (или группировки) ошибка не возрастает (и не сильно увеличивается энтропия), значит замену можно произвести без ущерба для построенной модели.
При этом достигается более высокий процент правильности классификации (78% против 69.5% у ID3).
Классификация методом ID3.
Этот алгоритм требует чтобы во входном наборе содержались только данные номинального типа. Для этого выбираем filter->unsupervised->attribute->RemoveType и удаляем все типы данных кроме nominal. Применение фильтра RemoveType изображено на рисунке 3.
Рисунок 3
После применения фильтров в наборе остаются только данные номинального типа. С ними и продолжает работу алгоритм. Далее для работы алгоритма необходимо отсутствие пустых значений. Чтобы осуществить это применяется фильтр ReplaceMissingValues, заменяющий пустые значения средними. Пример вывода программы изображен в листинге 4.
В нашем случае разбиение производится по перменной Income и дерево получается очень сильно разветвленным и не очень точным. Также возрастает средняя ошибка дерева, и при этом 11.25% из исходных выкладок не классифицируются.
Листинг 4
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 278 69.5 %
Incorrectly Classified Instances 77 19.25 %
Kappa statistic 0.4489
Mean absolute error 0.2221
Root mean squared error 0.4213
Relative absolute error 65.4358 %
Root relative squared error 102.4253 %
UnClassified Instances 45 11.25 %
Total Number of Instances 400
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure Class
0.626 0.163 0.57 0.626 0.597 >50K
0.837 0.374 0.867 0.837 0.852 <=50K
=== Confusion Matrix ===
a b <-- classified as
57 34 | a = >50K
43 221 | b = <=50K
Классификация методом 1R (в системе Weka называется OneRule).
Метод классификации 1R – один из самых простых и понятных методов классификации. Применяется как к числовым данным, которые разбиваются на промежутки, так и к данным типа nominal.
Листинг 5
=== Classifier model (full training set) ===
capital-gain:
< 4243.5 -> <=50K
>= 4243.5 -> >50K
(309/400 instances correct)
Time taken to build model: 0.02 seconds
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 301 75.25 %
Incorrectly Classified Instances 99 24.75 %
Kappa statistic 0.0983
Mean absolute error 0.2475
Root mean squared error 0.4975
Relative absolute error 64.6102 %
Root relative squared error 113.7664 %
Total Number of Instances 400
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure Class
0.087 0.017 0.643 0.087 0.154 >50K
0.983 0.913 0.756 0.983 0.855 <=50K
=== Confusion Matrix ===
a b <-- classified as
9 94 | a = >50K
5 292 | b = <=50K
Пример вывода алгоритма представлен в листинге 5.
Применительно к нашим данным этот метод показал себя не очень хорошо. Как известно, он обладает так называемой сверхчувствительностью (overfitting). Метод выбирает переменные принимающие наибольшее возможное количество значений, для таких переменных ошибка и будет наименьшей. Так, например, для переменной по которой у каждого ключа свое уникальное значение ошибка будет равно нулю, но для таких переменных правила бесполезны. В нашем случае такой переменной является Capital Gain. Соответственно после кросс-проверки точность результата также достаточно высока – 75,25 процент.
Классификация методом SVM (в Weka называется SMO).
Для этого метода не требуется каких-либо преобразований исходной выборки.
Данный метод является алгоритмом классификации с использованием математических функций. Метод использует нелинейные математические функции. Номинальные данные преобразуются в числовые. Основная идея метода опорных векторов – перевод исходных векторов в пространство более высокой размерности и поиск максимальной разделяющей гиперплоскости в этом пространстве. Результат выполнения алгоритма представлен в листинге 6.
Листинг 6.
=== Stratified cross-validation ===
=== Summary ===
Correctly Classified Instances 330 82.5 %
Incorrectly Classified Instances 70 17.5 %
Kappa statistic 0.5274
Mean absolute error 0.175
Root mean squared error 0.4183
Relative absolute error 45.684 %
Root relative squared error 95.6633 %
Total Number of Instances 400
=== Detailed Accuracy By Class ===
TP Rate FP Rate Precision Recall F-Measure Class
0.612 0.101 0.677 0.612 0.643 >50K
0.899 0.388 0.87 0.899 0.884 <=50K
=== Confusion Matrix ===
a b <-- classified as
63 40 | a = >50K
30 267 | b = <=50K
На выводе алгоритма показываются веса для всех возможных атрибутов, при этом заметна задержка его вывода из-за проведения расчетов. Процент верной классификации оказывается достаточно высоким – 82,5%, а средняя ошибка классификатора необорот, оказывается минимальной среди всех рассмотренных методов.
Задание 3: Построение ассоциативных правил. Метод Априори.
Нахождение ассоциативных правил происходит почти так же, как и классификация. На вкладке Associate выбирается метод нахождения, для него выставляются параметры кликом на его названии, после чего нажимается кнопка Start и анализируется вывод. При необходимости применяются фильтры (в данном случае применяются фильтры, аналогичные использованным для метода ID3). В нашем случае ассоциативные правила строятся по методу Априори.
Листинг 7
Apriori
=======
Minimum support: 0.55 (220 instances)
Minimum metric : 0.9
Number of cycles performed: 9
Generated sets of large itemsets:
Size of set of large itemsets L(1): 5
Size of set of large itemsets L(2): 8
Size of set of large itemsets L(3): 4
Best rules found:
1. race=White sex=Male 252 ==> native-country=United-States 238 conf:(0.94)
2. workclass=Private race=White 273 ==> native-country=United-States 257 conf:(0.94)
3. race=White 355 ==> native-country=United-States 334 conf:(0.94)
4. sex=Male native-country=United-States 254 ==> race=White 238 conf:(0.94)
5. race=White income=<=50K 256 ==> native-country=United-States 239 conf:(0.93)
6. workclass=Private 307 ==> native-country=United-States 285 conf:(0.93)
7. sex=Male 275 ==> native-country=United-States 254 conf:(0.92)
8. workclass=Private income=<=50K 243 ==> native-country=United-States 224 conf:(0.92)
9. income=<=50K 297 ==> native-country=United-States 273 conf:(0.92)
10. sex=Male 275 ==> race=White 252 conf:(0.92)
В результате выполнения алгоритма, показываются правила с метрикой больше минимальной.
В настройках метода устанавливалось создание 10 ассоциативных правил. Данный алгоритм определяет часто встречающиеся наборы, соответственно самыми точными являются самые часто встречающиеся наборы, но как видно, не все они имеют смысл.
ЗАКЛЮЧЕНИЕ
В результате работы были исследованы методы классификации и построения ассоциативных правил. Исходным набором данных в нашем случае являлась перепись населения в США, в которой классификация производилась по доходам населения.
НАБОР ДАННЫХ
datamining400-02
Москва 2008
|
