Применение информационных технологий для эконометрического анализа данных Выпускная работа по «Основам информационных технологий»

ГЛАВА 3

ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ ИТ В ЭКОНОМЕТРИЧЕСКОМ АНАЛИЗА ЭКОНОМЕТРИЧЕСКИХ ДАННЫХ

• 
  наличие удобных средств для работы с исходными данными;
  
• 
  накопление и хранение эконометрических данных;
  
• 
  фильтрация и поиск информации;
  
• 
  предварительная обработка данных;
  
• 
  расчет статистических характеристик;
  
• 
  поддержка методов построения моделей взаимосвязей;
  
• 
  поддержка методов оценки адекватности моделей;
  
• 
  реализация методов анализа и моделирования временных рядов;
  
• 
  реализация методов прогнозирования;
  
• 
  реализация статистических критериев;
  
• 
  обеспечение возможности создания и сохранения сценария исследования, представляющего описание последовательно применяемых процедур;
  
• 
  визуализация промежуточных и конечных результатов исследования.
  

• 
  соответствие характеру решаемых задач;
  
• 
  объем обрабатываемых данных;
  
• 
  требования, предъявляемые к квалификации пользователя (уровень знаний в области статистики);
  
• 
  имеющееся в наличии компьютерное оборудование.
  

• 
  Программы, реализующие технологию электронных таблиц MS Excel, OpenOffice.org Calc и др. Данные программы используют представление данных в табличном виде и позволяют решать простейшие эконометрические задачи;
  
• 
  Статистические пакеты общего назначения: SPSS, STATISTIСA, STATGRAPHICS и др.;
  
• 
  Программы, ориентированные на решение эконометрических задач: Econometric Views, STADIA, Matrixer 3.4 и др.;
  
• 
  Специализированные статистические пакеты, предназначенные для решения ограниченного круга задач ЭВРИСТА, МЕЗОЗАВР, ОЛИМП, Forecast Expert и др.;
  
• 
  Математические пакеты общего назначения Mathcad, Matlab, Maple, Mathematica и др.
  

• 
  библиотеки статистических процедур и численных методов для стандартных языков программирования и СУБД;
  
• 
  электронная таблица с системой меню;
  
• 
  командная строка и матрицы.
  

1. 
   Универсальные пакеты, или пакеты общего назначения (например, SPSS, STATA, STATISTICA, S-PLUS, Stadia, STATGRAPHICS, SYSTAT, Minitab).
   

• 
  содержать достаточно широкий набор стандартных статистических методов;
  
• 
  быть достаточно простым для быстрого освоения и использования непрофессиональным пользователем;
  
• 
  работать с достаточно большими базами данных и отвечать высоким требованиям к вводу, преобразованию и организации хранения данных;
  
• 
  осуществлять обмен данными с широко распространенными пакетами и базами данных;
  
• 
  иметь обширный набор средств графического представления данных и результатов их анализа;
  
• 
  иметь подробное документационное сопровождение и справочную систему, позволяющую начинающему пользователю с легкостью находить ответы на вопросы, связанные с работой программы и возможностями применения средств анализа данных.
  

2. 
   Профессиональные пакеты (например, SAS, BMDP).
   

3. 
   Специализированные пакеты (например, BioStat, MESOSAUR, DATASCOPE).
   

• 
  модульность;
  
• 
  ассистирование при выборе способа обработки данных;
  
• 
  использование простого проблемно-ориентированного языка для формулировки задания пользователя;
  
• 
  автоматическая организация процесса обработки данных;
  
• 
  ведение банка данных пользователя и составление отчета о результатах проделанного анализа;
  
• 
  диалоговый режим работы пользователя с пакетом;
  
• 
  совместимость с другим программным обеспечением.
  

• 
  описательная статистика (базовые статистические методы, проверка нормальности распределения данных);
  
• 
  дисперсионный анализ;
  
• 
  непараметрическая статистика (анализ таблиц сопряженности, непараметрические сравнения, дисперсионный анализ);
  
• 
  контроль качества;
  
• 
  анализ выживаемости;
  
• 
  кластерный анализ;
  
• 
  факторный анализ;
  
• 
  дискриминантный анализ;
  
• 
  регрессионный анализ;
  
• 
  обработка данных (сортировка, отбор, трансформация данных).
  

• 
  динамические факторные модели, линейные, обобщенные линейные модели и нелинейные модели, многоуровневые смешанные модели, модели выбытия;
  
• 
  обобщенные оценки уравнений (GEE);
  
• 
  непараметрические методы, методы повторных выборок и статистического эксперимента;
  
• 
  проверка гипотез и работа с оцененными моделями;
  
• 
  максимизация функций правдоподобия, заданных пользователем;
  
• 
  матричные команды.
  

1. 
   Stata/IC (Intercooled) представляет собой стандартную версию пакета.
   
2. 
   Stata/SE позволяет работать с более обширными базами данных по сравнению со стандартной версией.
   
3. 
   Stata/MP представляет собой самую быструю и широкую версию Stata. Обладает продвинутыми многопроцессорными возможностями и работает быстрее, чем все другие версии пакета.
   
4. 
   Small Stata используется в образовательных целях.
   

• 
  широкий набор средств статистического анализа данных;
  
• 
  широкий спектр возможностей по управлению данными (возможности комбинирования и изменения наборов данных, управления переменными и пр.);
  
• 
  возможность программирования всей последовательности команд (начиная от загрузки данных до проведения всех этапов их анализа);
  
• 
  использование координатного указателя;
  
• 
  интерактивный справочник;
  
• 
  создание графики полиграфического качества;
  
• 
  возможность написания собственных программных модулей;
  
• 
  совместимость с операционными системами Windows, Macintosh и Unix (включая Linux);
  
• 
  полное документационное сопровождение ("Базовое справочное руководство" с более чем 1800 страницами информации, содержащее подробные примеры и ссылки на литературу по статистике);
  
• 
  экспорт результатов в MS Office и SAS;
  
• 
  для работы программы требуется лишь 512 MB оперативной памяти, сама программа занимает 250 MB на жестком диске компьютера;
  
• 
  возможность запуска команды, как через соответствующий пункт меню, так и через написание команды в командной строке
  
• 
  мощная поддержка как со стороны производителя, так и со стороны других пользователей.
  

• 
  отсутствие возможности полноценного экспорта и импорта данных в базы данных, электронные таблицы и текстовые процессоры;
  
• 
  возможность прямого открытия в программе лишь файлов с разрешением .dta.
  

1. 
   Область Обзор (Review) отображает историю выполненных в сеансе команд и позволяет пользователю сохранять команды для последующего использования.
   
2. 
   Область Переменные (Variables) отображает название, метку, тип и формат переменных находящихся в открытой базе данных.
   
3. 
   Область Результат (Result) отображает результаты проведенного анализа и журнал событий.
   
4. 
   Область Команды (Command) предназначена для написания команд пользователями.
   

• 
  регрессия с инструментальными переменными, робастная регрессия, одновременные уравнения, нелинейный МНК;
  
• 
  модели временных рядов: модели авторегрессии со скользящими средними;
  
• 
  автокорреляции и частные автокорреляции; модели с условной гетероскедастичностью;
  
• 
  обобщенные линейные модели;
  
• 
  средства дисперсионного анализа;
  
• 
  средства факторного анализа и анализа главных компонент;
  
• 
  средства анализа таблиц сопряженности;
  
• 
  средства анализа панельных моделей;
  
• 
  средства анализа данных типа длительностей, или времени жизни, или времени отказа;
  
• 
  средства анализа стратифицированных обследований;
  
• 
  средства анализа моделей с бинарной зависимой переменной;
  
• 
  тесты на равенство средних, дисперсий и медиан;
  
• 
  ранговые корреляции;
  
• 
  возможность максимизации функций правдоподобия, запрограммированных пользователем.
  

1. 
   выбор стран, по которым эконометрическое моделирование будет проводится. Наиболее целесообразным представляется оценить Республику Беларусь и государства-соседи, например, Россию и Украину;
   
2. 
   далее выбор показателей. В исследование будет проведено на базе подхода креативности. Идея индекса креативности строится на теории «Трех Т»: Талант, Технологии и Толерантность, необходимых для успешного экономического развития по мнению Р. Флориды, американского географа-экономиста. В исследовании будет сделана попытка соответствующего анализа на основании данных по вышеперечисленным странам;
   
3. 
   следующим логическим этапом в разработке данного исследование будет сбор данным по выбранным показателям за максимально возможный промежуток времени;
   
4. 
   составление таблицы панельных данным и загрузка данных в программу для дальнейшей оценки;
   
5. 
   моделирование данных с помощью ЭП и оценка полученной модели: проверка состоятельности, несмещенности и эффективности коэффициентов, проверка общего качества модели, определение объясненных и необъясненных ошибок модели.
   
6. 
   проверка и решение таких проблем, как: гетероскедостичность, мультиколлинеарность, автокорреляция и эндогенность.
   

• 
  развитый аппарат статистического анализа;
  
• 
  универсальность (может быть использован для решения широкого круга вопросов из различных предметных областей, требующих проведения статистического анализа данных);
  
• 
  широкий набор статистических и графических процедур (более 50 типов диаграмм) анализа данных, а также процедур создания отчетов;
  
• 
  высокая скорость вычислений, простой и удобный интерфейс;
  
• 
  детальная контекстно-ориентированная справочная система, позволяющая неопытному пользователю с большей легкостью ориентироваться в программе;
  
• 
  возможность свободного скачивания демонстрационной версии продукта на официальном сайте компании, наличие версий продукта на различных языках;
  
• 
  совместимость с операционными системами Windows, Mac, Linux;
  
• 
  наличие значительного количества литературы по работе с пакетом.
  

• 
  высокие требования к системе компьютера (требуется 1GB оперативной памяти, 800MB памяти на жестком диске и процессор с частотой 1GHz и выше);
  
• 
  высокая цена по сравнению со статистическими пакетами аналогичного уровня (стоимость покупки для индивидуального пользования сроком на год составляет около 1000 долл.).
  
• 
  Последняя версия SPSS включает в себя следующие новые возможности:
  
• 
  импорт данных из Excel и SAS;
  
• 
  экспорт результатов в MS Office, PDF; сохранение результатов в формате HTML;
  
• 
  одновременная работа с несколькими наборами данных;
  
• 
  построение диаграммы для переменных с множественными ответами;
  
• 
  построение диаграммы с двумя осями Y;
  
• 
  улучшенный редактор синтаксиса с поддержкой автозавершения и цветового кодирования команд;
  
• 
  быстрая подготовка данных к анализу посредством Автоматизированной подготовки данных (IBM SPSS Data Preparation), позволяющей облегчить процесс интеллектуального анализа данных, выявляя и исправляя ошибки в данных и объясняя пропущенные значения. Также посредством этой функции можно подготовить отчет с рекомендациями о возможности использования данных для анализа.
  

• 
  управление процессом статистической обработки данных;
  
• 
  оценка мощности и объема выборки;
  
• 
  планирование экспериментов;
  
• 
  матричные функции;
  
• 
  анализ измерительных систем, анализ надежности/выживаемости, анализ временных рядов и прогнозирование, многомерный анализ.
  

• 
  система консультационной поддержки пользователя (интерактивное дерево принятия решений позволяет отыскать правильный подход к анализу данных для поиска ответа на поставленные вопросы), настройка меню и панелей инструментов для быстрого доступа к используемым методам;
  
• 
  интерпретация полученных результатов;
  
• 
  осуществление импорта данных из текстовых и табличных процессоров, HTML-файлов, сохранение результатов анализа в форматах TIFF, JPEG, PNG, BMP, GIF, EMF;
  
• 
  удобный инструмент для размещения нескольких графиков на одной странице, автоматическое обновление графиков при изменении исходных данных, создание и вращение трехмерных графиков;
  
• 
  автоматизация заданий и создание новых функций с помощью языка макропрограммирования;
  
• 
  для работы программы требуется лишь 512 MB оперативной памяти, сама программа занимает 160 MB на жестком диске компьютера;
  
• 
  работа с файлами, содержащими до 4000 переменных и неограниченное число наблюдений.
  

1. 
   Окно сеанса (Session) содержит результаты анализа в виде текста. Кроме того, в нем можно вводить выполняемые команды вручную.
   
2. 
   Окно данных (Worksheet) представляет собой рабочий лист, напоминающий электронную таблицу. Можно одновременно использовать несколько рабочих листов, каждый из них откроется в отдельном окне данных.
   
3. 
   Окно редактора ReportPad, в который можно добавить результаты, полученные во время сеанса работы с программой Minitab. Выполняет функции простейшего текстового редактора. Позволяет быстро распечатать отчет и сохранить его в формате RTF или HTML.
   

1. 
   Базовый пакет STATISTICA Base предоставляет обширные возможности выбора основных типов статистического анализа. Для эффективной работы базового пакета требуется как минимум 256 MB оперативной памяти. Минимальные требования к скорости процессора – 500 MHz.
   
2. 
   Модуль Линейные и Нелинейные Модели (Advanced Linear/NonLinearModels) содержит большой набор инструментов для моделирования и прогнозирования, включая возможности автоматического выбора модели и расширенные интерактивные средства визуализации.
   
3. 
   Модуль Многомерные разведочные технологии анализа (Multivariate Exploratory Techniques) служит для применения разведочного анализа различных типов данных в сочетании с интерактивными средствами визуализации.
   

• 
  НИОКР, контроль качества, процесс мониторинга в химической, фармацевтической промышленности и в производстве потребительских товаров;
  
• 
  гарантийный анализ и приложения для удаленного мониторинга в обрабатывающей промышленности;
  
• 
  анализ рисков, сегментация потребителей и оценка кредитоспособности заемщиков в банковской сфере, в сфере предоставления финансовых услуг и в страховой деятельности.
  
• 
  Возможны различные варианты установки пакета в зависимости от целей и задач пользователя:
  
• 
  однопользовательская версия (Single-User);
  
• 
  сетевая версия (Concurrent Network) для работы в локальных вычислительных сетях;
  
• 
  Enterprise – версия для применения в вычислительных системах и крупных организациях
  
• 
  Web-Based – версия для использования в крупных сетях через веббраузер.
  

• 
  исследование корреляций между переменными;
  
• 
  диаграмма рассеяния, матричная диаграмма рассеяния;
  
• 
  быстрые основные статистики и блоковые статистики (интерактивные средства, позволяющие одним щелчком мыши вычислять основные статистики и строить графики в любой момент в течение сеанса работы);
  
• 
  интерактивный калькулятор вероятностных распределений (позволяет интерактивно исследовать структуру распределений, например, зависимость вероятности от параметров);
  
• 
  анализ многомерных откликов, многомерное шкалирование;
  
• 
  анализ при помощи временных рядов и прогнозирование временных зависимостей, в том числе анализ сезонных колебаний.
  

• 
  реализован обмен данными между STATISTICA и Windows-приложениями;
  
• 
  результаты анализа в виде графиков, таблиц и текста могут быть сохранены в файле с форматом RTF, который открывается и редактируется в MS Word;
  
• 
  возможность расширения системы при помощи создания программ на встроенном в STATISTICA языке программирования;
  
• 
  исходные данные из MS Excel можно легко импортировать в STATISTICA;
  
• 
  возможность записи макросов для автоматизации выполнения однотипных задач;
  
• 
  программа способна обрабатывать большие массивы данных – базы данных с числом переменных до 32 000 и практически неограниченным числом наблюдений.
  

• 
  сочетание научных методов обработки разнотипных данных с возможностью создания современной высококачественной интерактивной графики;
  
• 
  широкие возможности взаимодействия с другими программными продуктами (электронными таблицами, базами данных);
  
• 
  высококачественная двумерная и трехмерная графика, интегрированная графика, предполагающая, что все элементы графических представлений результатов анализа могут быть преобразованы. После завершения процедуры статистического анализа данных можно выбрать графические отображения результатов, релевантные используемой процедуре анализа. Внешний вид диалогового окна STATGRAPHICS представлен на рисунке 3.6.