Программный комплекс для анализа больших данных и его применение в сельском хозяйстве
Скачать 30.25 Kb.
|
| УДК 004.622 Фёдоров Е.И, НГТУ, Новосибирск ПРОГРАММНЫЙ комплекс для анализа больших данных и его применение В СЕЛЬСКОМ ХОЗЯЙСТВЕ Современное управление сельскохозяйственной деятельностью сопровождается потребностью в сборе и анализе огромного количества данных. Системы анализа данных уже на протяжении многих лет активно используются в сельском хозяйстве [1]. Обработка и анализ «Больших данных» на сегодняшний день являются во многом неизученными областями, содержащими массу специфичных проблем. Стандартные инструменты для анализа данных не подходят при работе с «Большими данными». В НГТУ, разрабатывается программный комплекс, позволяющий осуществлять обработку больших данных, который можно эффективно применять в сельском хозяйстве. Ключевые слова: информационные технологии, большие данные, системы анализа данных. В 2008 году появилось новое направление дискуссий в области обработки данных. Оно получило название «Большие данные» (Big Data). Отсутствие устоявшейся терминологии является серьёзной проблемой данной области [2]. В рамках данной статьи под термином «Большие данные» будем понимать данные, полученные вследствие бесконечного неограниченного накопления данных, представленных в различных форматах, часть которых является неструктурированными. Для «Больших данных» характерны следующие свойства: огромный физический объём, высокая трудоёмкость обработки и анализа, большое разнообразие форматов представления данных [3]. Учитывая темпы роста количества данных в мире и тот факт, что проблема «Больших данных» уже затронула такие области как розничная торговля, управление в государственном секторе, здравоохранение, банковское дело, страхование и многие другие области [2], несложно предположить, что возникновение данной проблемы в сельском хозяйстве это только вопрос времени. В зоне риска находятся такие области сельского хозяйства как агрострахование, анализ инвестиционных рисков сельскохозяйственного региона, анализ потребительской удовлетворённости в производимой продукции и других областях [1]. В результате исследования рынка систем анализа и обработки больших данных выявлено, что в их основе лежит подход аккумуляции данных в некотором физическом хранилище с целью дальнейшей обработки на суперкомпьютерах. Потребность в таком подходе возникает по отношению к небольшому классу задач, но при этом требует значительных финансовых затрат. Автор предложил другой подход к обработке и анализу «Больших данных». Этот подход заключается в замене исходного множества данных множеством моделей этих данных и в дальнейшей обработке и анализе множества моделей исходных данных. Достоинством данного подхода является низкая стоимость внедрения и эксплуатации, так как на хранение, обработку и анализ моделей исходных данных нужно гораздо меньше ресурсов, чем в предыдущем подходе. Недостатками данного подхода являются значительная потеря исходных данных и необходимость в удалении исходных данных после построения результирующих моделей. Это приводит к тому, что в случае, если необходимо изменить параметры формирования множества моделей, то для их дальнейшей обработки необходимо снова ожидать накопления определённого числа моделей, построенных с учётом заданных параметров. Несмотря на то, что «Большие данные» имеют высокую интенсивность накопления, общее качество анализа бесспорно снижается. В НГТУ разрабатывается программа, реализующая рассмотренный подход к обработке «Больших данных». На текущий момент программа позволяет: осуществить построение множества моделей исходных данных на основе заданных входных параметров, осуществить унифицированный доступ к результирующим моделям данных, осуществить выгрузку данных с целью их дальнейшей обработки при помощи использования стандартных систем анализа данных. Библиографический список
|
Добавить документ в свой блог или на сайт
Похожие:
 | Учебно-методический комплекс дисциплины Учебная дисциплина предназначена для освоения одной из важнейших отраслей – экологии, применение знаний, сельском хозяйстве, биотехнологии,... |  | Список научных и учебно-методических работ Программный комплекс моделирования и анализа на основе сетей Петри. (аннотация на программный комплекс) |
| Темы рефератов по курсу дисциплины Биологическая роль микроэлементов и их применение в сельском хозяйстве и медицине | | Рекомендуемый перечень тем рефератов по химии Биологическая роль микроэлементов и их применение в сельском хозяйстве и медицине |
| Учебно-методический комплекс по дисциплине договорные отношения в... | | Программа вступительных испытаний в аспирантуру подготовлена в соответствии... Программа предназначена для подготовки к вступительным испытаниям в аспирантуру по направлению подготовки 35. 06. 04 Технологии,... |
| Комплекс дисциплины для специальностей Инженерного института: сд. Дс. Ф СД. Дс. Ф «Мобильные энергетические средства в сельском хозяйстве» для специальности 110301. 65 Механизация сельского хозяйства | | Учебно-методическое пособие по курсовому проектированию для студентов... ... |
| Методология проектирования инновационных формирований в сельском хозяйстве Мне нравится помогать другим, и для меня величайшее удовольствие в жизни видеть, как человек освобождается от теней, омрачающих его... | | Квадрокоптер в сельском хозяйстве (оценка возможностей применения) Название работы: Квадрокоптер в сельском хозяйстве (оценка возможностей применения) |
| Реферат Автор: Комаров С. Ю. Правообладатель: Комаров С. Ю. Программа... Программа для ЭВМ под названием «Программный комплекс согласования данных ядерных реакций однонуклонной передачи CalcNuclShells» | | Тема Количество часов Практическое применение достижений современной биологии в промышленности, сельском хозяйстве, биотехнологии, в воспитании бережного... |
| Исследовательская работа математика в различных сферах жизнедеятельности Было дано понятие прикладной математики и ее основных составляющих. С помощью математических методов и моделей было охарактеризовано... | | Направление 35. 06. 04 Технологии, средства механизации и энергетические... Направление 35. 06. 04 Технологии, средства механизации и энергетические оборудование в сельском, лесном и рыбном хозяйстве |
| Литература sawant N, Shah H. Big Data Application Architecture Q&A.... В докладе предлагается применение концепции BigData [1] для решения задач, так как поступающая информация соответствует определяющим... | | Опыт применения методов интеллектуального анализа данных в компаративистских... В работе описываются предварительные результаты анализа данных из Базы данных “Языки мира” с применением методов DataMining и пакета... |
