1. Базы данных, системы управления базами данных и приложения к ним, используемые для сбора, хранения и обработки информации в биологических исследованиях.
Биологам, особенно работающим одновременно с многими видами живых организмов, зачастую приходится оперировать огромными массивами данных. Попытки унифицировать регистрацию однотипной информации и автоматизировать дальнейшую ее обработку предпринимались давно. В 50 60-е годы серьезный вклад в развитие этого направления внес д.б.н. П.Х. Кискин со своими сотрудниками. В частности благодаря его разработкам в биологии стали широко и целенаправленно использовать ручные перфокарты. С одной стороны они применялись для регестрации биологической информации в удобной для последующей обработки форме (Кискин П.Х., 1967), с другой, на основе перфокарт были созданы специальные диагностические системы, например для определения культивировавшихся в CCCР сортов винограда (Кискин П.Х., 1961). Впоследствии это направление получило дальнейшее развитие в Прибалтийских республиках (Мэлс Т., Райтвийр А., 1974).
Параллельно проводились работы по передаче различных операций по обработке информации вычислительными машинами. Примечательно, что в это время никакого разрыва в использовании информационных технологий в биологических исследованиях советских и зарубежных ученых не было.
Так, в 1965 году была опубликована статья П.Х. Кискина с соавторами (Кискин П.Х. и др., 1965), описывающая опыт использования большой ЭВМ “Минск-1” для автоматизации диагностики сортов винограда. Аналогичного плана работы за рубежом были опубликованы несколько позднее (Goodal D.W., 1968; Morse L.E., 1968).
В настоящее время, благодаря значительному прогрессу в развитии компьютерной техники и доступности освоения современных персональных компьютеров для широкого круга специалистов, информационные технологии все шире и шире применяются в биологических исследованиях. Исторически сложилось так, что в бывшем СССР более широкое распространение они получили в ботанических, а не зоологических исследованиях. Среди прочих направлений использования компьютерных технологий выделяются такие, как:
создание компьютерных баз данных (БД) и информационных систем для регистрации информации на небумажных носителях и последующей автоматизации ее обработки ;
создание компьютерных диагностических систем для автоматизации идентификации биологических объектов .
В зоологии компьютерные базы данных с соответствующими программными приложениями используются для:
каталогизации сборов и зоологических коллекций;
создания информационных систем по географическому распространению животных ;
ведения специализированных библиографических баз данных;
создания таксономических каталогов по отдельным группам животных;
унификации процедур регистрации данных и автоматизации последующей их обработки в ходе экологических и иных исследований.
К моменту проведения конференции "Базы данных и компьютерная графика в зоологических исследованиях" (Санкт-Петербург, апрель 1994 г.) в Зоологическом институте РАН функционировало более 100 баз данных по различным группам животных (кишечнополостным, моллюскам, насекомым, ракообразным, иглокожим, позвоночным).
Практически все прикладные базы данных в настоящее время создаются на основе стандартных процессоров баз данных. Как правило, это полноценные системы управления базами данных (СУБД). В последние годы достигнута высокая степень совместимости различных базовых процессоров, что обеспечивает широкие возможности для обмена данными между разными БД. Это обстоятельство позволяет проще относиться к выбору базовой СУБД, поскольку принимаемое решение не влечет за собой необратимых последствий.
1.1. Базы данных и системы управления ими
Базы данных (БД) — это наборы информационных записей, компьютерные — записей в виде файлов, которые организованы специальным образом. С компьютерными базами данных пользователь может работать непосредственно, выполняя функции диспетчера БД, либо посредством специальной программы, системы управления базами данных (СУБД). Существуют три модели организации компьютерных баз данных, — реляционная, иерархическая и сетевая.
В настоящее время индивидуальным пользователям доступно, используя СУБД, создание собственных реляционных баз данных. Название "реляционная" обусловлено тем, что каждая запись в такой БД содержит информацию, относящуюся только к одному конкретному объекту. С разными типами информации об одном и том же объекте можно работать как с целым, поскольку и в БД они связаны (related) между собой. В реляционной БД все обрабатываемые данные представляются в виде таблиц.
Имеется хорошо развитый математический аппарат для операций с хранящейся в таблицах информацией.
Две другие модели, иерархическая и сетевая, предусматривают наличие связей между данными, имеющими какой-либо общий признак. В иерархической модели эти связи отражаются в виде древовидной структуры, где связи возможны только в иерархической последовательности, от старшего уровня к младшему. Это значительно ускоряет поиск необходимой информации, но все возможные запросы жестко детерминируются структурой древа.
Данное ограничение снято в сетевой модели, где связи осуществляются по схеме "все со всеми". Любой элемент данных содержит ссылки на все другие связанные с ним элементы. Это в итоге требует весьма значительных ресурсов памяти, как основной, так и оперативной. Кроме того подобные модели сложны в управлении, и все это существенно затрудняет создание подобных БД, функционирующих на базе персональных компьютеров.
Система управления базами данных представляет собой по сути дела программную оболочку, обеспечивающую "дружественный" интерфейс и ориентированную на оперативное обслуживание пользователя. СУБД предоставляет пользователю возможность задать структуру и описание своих данных, контролировать работу с ними и организовать коллективное пользование информацией. СУБД существенно расширяет возможности и облегчает каталогизацию, хранение и оперирование большими объемами информации.
Система управления БД включает в себя три основных типа функций. Во-первых, это определение данных, - пользователь устанавливает, определяет, какая именно информация будет храниться в создаваемой базе данных, задать структуру и их тип (например, цифровая или текстовая информация, и т.п.), указывает, как эти данные связаны между собой, а также может задать форматы и критерии проверки данных. Во-вторых, обработка данных: данные можно сортировать и фильтровать, можно объединять данные с другой связанной с ними информацией и вычислять итоговые значения. В-третьих, управление данными. Разработчик имеет возможность указать условия доступа к информации, корректировки и добавления данных, правила коллективного пользования информацией. Примером функционально полной реляционной СУБД может быть MS Access. В ней предусмотрены все необходимые пользователю средства для определения данных, обработки и управления информацией.
СУБД позволяет задать типы данных и способы хранения. Можно также установить условия (критерии), которые программа в дальнейшем будет использовать для обеспечения корректности ввода данных. Частично ввод ошибочных данных предупреждается предопределением типа данных (текстовый, "мемо", числовой, дата/время, денежный, счетчик, логический, объект OLE). Заданные форматы хранения (длина строки, точность представления времени и т.п.) могут отличаться от форматов представления этих же данных при выводе на экран и печать. Другие условия могут устанавливать область или диапазон допустимых значений вводимых данных. Возможно также задание взаимоотношений между совокупностями данных (отдельными таблицами или файлами) и передача программе функций обеспечения совместимости или обеспечения целостности данных.
В практике биологических исследований стереотипы в выборе базовых процессоров не сложились. Если в США в последнее время наибольшее распространение получили различные версии Borland Paradox, то в европейских странах хождение имеют разнообразные программы.
Особенности ситуации в бывших советских республиках обусловили преимущественное распространение IBM-совместимых персональных компьютеров. Целенаправленная политика по завоеванию перспективного рынка, проводимая компанией Microsoft, способствует все более широкому распространению разрабатываемых ею программных продуктов. Однако по-прежнему невозможно выделить какую-либо СУБД, на которую бы ориентировалось большинство биологов.
В Ботаническом институте РАН и Институте зоологии НАН РБ в силу сложившихся обстоятельств используются главным образом процессоры, созданные еще в прошлом десятилетии, — pcTROPICOS и отечественный ASPID_TG. В Зоологическом институте РАН наибольшую популярность имеют различные версии FoxPro. В меньшей степени биологами используются MS Access и Borland Paradox. Последняя СУБД, в частности, была использована для создания базы данных по жесткокрылым Белоруссии и последующей подготовки соответствующего каталога.
Зачастую выбор определенного процессора диктуется параметрами конкретного персонального компьютера, имеющегося в распоряжении исследователя. В ходе выполнения настоящей работы выбор в качестве базового процессора СУБД MS Access был обусловлен комплексом факторов: широкими возможностями экспорта-импорта и конвертации данных, отсутствием необходимости одновременного открытия большого числа файлов, высокой "дружественностью" пользовательского интерфейса, а также частными особенностями конфигурации использованного ПК.
1.2. Основные характеристики и особенности системы управления базами данных MS Access
MS Access как полноценное приложение Windows позволяет использовать возможности DDE (Dynamic Data Exchange), обеспечивающего обмен данными с любыми другими поддерживающими DDE приложениями. OLE (Object Linking and Embedding) позволяет установить связи с объектами других приложений или внедрить какие-либо объекты (рисунки, диаграммы, электронные таблицы, документы Word и т.п.) в БД.
СУБД Access способна работать с большим числом самых разнообразных форматов данных, включая файловые структуры других СУБД. Возможен импорт и экспорт данных из файлов текстовых редакторов или электронных таблиц и непосредственная работа с файлами Paradox, dBASE III, dBASE IV, Btrive, FoxPro и базами данных стандарта ODBC (Open Database Connectivity - открытый доступ к данным) - MS SQL Server, DB2 и Rdb.
СУБД дает возможность работы с данными различными способами. Для чтения и корректировки данных можно создать специальные процедуры. Имеются развитые возможности для вода данных и генерации отчетов. Очень эффективно и оперативно работает функция создания запросов.
Совершенная система управления данными особенно важна при необходимости обеспечения коллективного пользования информацией. MS Access позволяет защищать информацию от нежелательного доступа. Право ознакомления и, что особенно важно, корректировки данных может быть предоставлено ограниченному кругу операторов-пользователей. Возможна регламентация вносимых изменений, их последовательность в группе (структуры трансакции), отсекающие некорректно введенную информацию (изменения в базе данных).
MS Access может обеспечить как работу отдельной самостоятельной СУБД на автономном ПК, так и работу в компьютерной сети в режиме "клиент-сервер". Программа при этом автоматически обеспечивает защиту данных от одновременной их корректировки разными пользователями. Access также идентифицирует и учитывает защитные средства других подсоединяемых к базе структур, таких как структуры Paradox, dBASE и SQL.
Для автоматизации обработки данных требуется не только мощная система управления реляционными БД, но и система разработки приложений. Практически все современные программы организации баз данных располагают таковыми. Однако большинство систем разработки приложений для выполнения разнообразных процедур обработки информации требуют специальной подготовки разработчика, в частности, хорошего знания языков программирования (Си-, Xbase и др.). Аналогично, чтобы полноценно использовать их возможности пользователь также должен обладать сравнимым уровнем квалификации в области программирования. Access же располагает средствами, позволяющими легко проектировать и создавать приложения для работы с БД без специальной подготовки в области программирования. Более того, они пригодны для работы не только с собственными форматами данных, но и с форматами наиболее распространенных СУБД. MS Access способен обрабатывать данные электронных таблиц, текстовых файлов, файлов dBASE, Paradox, FoxPro и любой базы данных SQL, поддерживающей стандарт ODBC. Это означает, что пользователь может обрабатывать данные, поступающие с сетевого сервера SQL или базы данных SQL на главной ЭВМ.
1.3. Архитектура MS Access
В MS Access объектами называют все, что может иметь имя, и БД включаег в себя все объекты, связанные с хранимыми данными, включая и разработанные для автоматизации работы с ними. Основными объектами являются таблицы, запросы, формы, отчеты, макросы и модули.
Таблица — объект, в котором определяются и хранятся данные. Таблицы состоят из строк, содержащих записи об единичном, отдельно взятом объекте, и столбцов - полей, содержащих информацию об однотипных характеристиках объектов. Информация, заносимая в поля, дифференцируется по типам. Каждый столбец может содержать информацию одного заранее установленного типа. В таблице 1 приведен перечень используемых в биологических базах данных типов полей, поддерживаемых MS Access.
Таблица 1
Типы полей Access
Тип данных
|
Описание
|
Текстовый
|
Наиболее распространенный тип данных, информация заносится в виде текста. Введенные в поле числа воспринимаются как текст
|
Числовой
|
В поле может быть занесена лишь цифровая информация
|
Дата/время
|
Специальное поле, содержащее шаблон для введения со-ответствующих данных
|
Логический
|
Предназначен для данных, имеющих характер логической альтернативы "да/нет"
|
Счетчик
|
Поле, в которое программа автоматически вносит порядковый номер записи. Номер сохраняется и за удаленной записью
|
Объект OLE
|
Предназначено для хранение любой информации, закодированной по технологии OLE, включая звуковую и изображения (рисунки, фотографии и т.п.)
|
"Мемо"
|
Предназначается главным образом для занесения примечаний, содержащих информацию плохо поддающуюся стандартизации и не предназначенную для последующей интенсивной компьютерной обработки
|
Для каждой таблицы как правило должен быть создан первичный ключ (одно или .несколько полей, которые имеют уникальное значение для каждой записи) и, желательно, один или несколько индексов, обеспечивающих увеличение скорости доступа и ускорение обработки массивов данных.
Первичным ключом, который иногда называют просто ключом, является поле (или группа полей), содержащие данные, однозначно идентифицирующие каждую запись в таблице. Значение ключа должно быть уникальным для каждой записи таблицы. Таблица, у которой определен первичный ключ, называется индексированной.
Ключ устанавливает порядок сортировки по умолчанию записей таблицы. Access сортирует записи таблицы на основании значений поля (полей - в случае составного первичного ключа), которое задано как ключевое. Это позволяет быстро находить записи по значению ключа и совершать другие операции над записями индексированной таблицы.
Access допускает пустое значение ключа только у одной записи таблицы. Все последующие записи с пустым значением ключа считаются записями с дублирующим ключом и в таблицу не допускаются.
В качестве ключа можно задавать либо отдельное поле, либо группу полей. Когда в качестве ключа определена группа полей, его называют составным первичным ключом. Не допускается присутствие в таблице записей с дублирующими значениями первичного ключа. В случае, когда в таблице создан составной ключ, программа позволяет значениям отдельных полей, составляющих первичный ключ, повторяться, но только в тех случаях, когда набор значений полей, составляющих ключ, остается уникальным для каждой записи. То есть поля, составляющие ключ как целое, должны однозначно идентифицировать запись. Как правило, следует всегда включать в таблицу достаточное количество полей, чтобы обеспечить уникальность каждой записи таблицы. Если пользователь не может разумным способом создать составной ключ, в этой ситуации он может определить поле идентификатора записи, которое имеет единственное значение для каждой записи таблицы.
Индекс определяет порядок, в котором процессор имеет доступ к записям таблицы. Имеется возможность создавать у одной таблицы несколько индексов, определяющих различные порядки доступа к записям; однако чрезмерная индексация может свести на нет все преимущества в ускорении обработки данных, обеспечиваемые ею. Для хранения информации об установленных пользователем индексах Access создает одноименный с основным специальный информационный файл с расширением .ldb. Программа использует индексный файл для определения местоположения записи в таблице по значению индекса.
Индексы можно использовать для просмотра записей в порядке, отличном от определяемого по умолчанию первичным ключом или физическим порядком расположения записей (в случае отсутствия ключа). При этом пересортировки и изменения физического порядка хранения записей в таблице не происходит.
Форма — объект, облегчающий процедуру ввода данных, обеспечивающий отображение их на экране в удобном для пользователя виде или управление работой приложений. Из формы в ответ на определенное событие может быть запущен макрос или процедура обработки информации.
Запрос — объект, который позволяет пользователю извлечь нужные данные из одной или ряда таблиц. Запросом называется некоторая последовательность действий, выполняемых системой, с помощью которых пользователь может извлечь необходимую информацию из своих таблиц. Запросом может быть как простейший поиск информации по значению в какой-либо одной таблице, так и сложный процесс преобразования и предсгавления в определенном виде взаимосвязанных между собой данных из нескольких таблиц.
Составляя запрос, пользователь может перечислить в нем интересующие его таблицы, поля, из которых должен состоять запрос, интересующие его записи и необходимые преобразования данных.
Запросы можно создавать на выбор, обновление, удаление или добавление данных. С помощью запросов можно создавать новые таблицы, используя данные единичной таблицы или группы уже существующих таблиц.
Отчет — объект, предназначенный для создания документов, которые легко поддаются распечатке или включению в документ другого приложения.
Макрос — объект, представляющий собой последовательность макрокоманд и выполняющий таким образом функцию автоматизированного программирования. Создаются данные объекты с помощью встроенного в процессор конструктора макросов. Макросы имеет смысл создавать для часто используемых операций сложной обработки данных. Например, можно запрограммировать запуск макросов нажатием кнопки, размещенной в форме или иным образом.
Модули — объекты, представляющие собой программы, написанные на языке Access Basic. К разработке модулей в биологических базах данных как правило привлекают опытных программистов.
Кроме рассмотренных выше основных объектов, СУБД предоставляет набор так называемых конструкционных объектов, при помощи которых разрабатывается структура форм и отчетов. К ним относятся текстовые объекты (подписи, заголовки и т.п.); графические элементы (линии, фигуры и пр.), включая графики и диаграммы; поля, в которые заносятся либо отображаются данные; встроенные таблицы; кнопки; специальные графические образы (создаваемыми вспомогательными файлами соответствующего формата) и объект созданные по технологии OLE, включая изображения и звуковую информацию.
Таким образом, избранная система управления базами данных MS Access обладает разносторонней системой объектов. Процессор осуществляет их интеграцию. На рисунке 1 представлены структурные и функциональные взаимосвязи основных объектов СУБД.
Создание объектно ориентированных баз данных представляет собой достаточно сложную последовательность действий по разработке их структуры и реализации проекта. После создания необходимых таблиц пользователь имеет возможность приступить к разработке проблемно ориентированных приложений, обеспечивающих оптимизацию процедуры ввода данных и автоматизацию дальнейшей обработки информации. Описание последовательности этапов осуществленной при выполнении настоящей работы разработки соответствующей базы данных и приложения, мало отличающейся от стандартной, приведено в главе 2.
Рис. 1. Взаимосвязи основных объектов Microsoft Access
(по Д. Вейскасу, 1995)
|
