§1.5. Технологии комплексной оценки предприятий по показателям экономического и инновационного потенциала.
В настоящее время разработан ряд автоматизированных систем, в которых реализованы различные частные аспекты оценочной деятельности.
Оценка экономического и инновационного потенциала хозяйствующих субъектов является разновидностью оценочной деятельности, предусматривающей получение решений при наличии многих критериев. Все автоматизированные системы поддержки принятия решений при проведении многокритериальных оценок содержат ряд общих сторон, включая набор методов получения результирующей оценки. Одновременно анализ их функционирования позволяет сделать вывод об отсутствии единой методологии создания таких систем.
Формирование оценочной системы в автоматизированной системе оценки и построения рейтинга.
Систематизируем основные этапы и принципы, характерные для построения и реализации оценочных систем.
Система, позволяющая осуществить оценку многопараметрического объекта, как уже указывалось выше, является одним из основных модулей, используемых в технологии оценки, и от качества построения которой во многом зависит надежность оценивания. При этом большое значение имеет также качество информации, характеризующей деятельность объекта оценки, и профессиональный уровень экспертов, на основании заключений которых принимается решение.
В основе любой оценки лежит набор критериев (показателей), на основании значений которых определяется оценка исследуемого объекта. Выбор адекватного набора критериев, в котором представлены наиболее важные свойства исследуемого объекта удовлетворяющего, с одной стороны, требованию полноты, с другой - неизбыточности, требует проведения специальной экспертизы по его формированию. Кроме того, при формировании оценочной системы хозяйствующих субъектов приходится иметь дело с критериями различных иерархических уровней.
Сложная иерархическая структура критериев оценки, не является раз и навсегда заданной, а непрерывно развивается в зависимости от целей и объектов оценки.
Оценочная система строится в виде иерархически организованной системы критериев, обладающей возможностями изменения и настройки.
При формировании оценочной системы должны учитываться как опыт создания и функционирования существующих систем комплексной оценки объектов хозяйственной и экономической деятельности. Поэтому в оценочных системах предусмотрены процедуры формирования различных иерархически организованных структур-деревьев или графов критериев, отражающих различные цели в интерпретации разных экспертов.[14,15]
После определения структуры критериев возникает задача сопоставления сравнительной весомости критериев, определения степени их влияния на эффективность функционирования субъектов экономической деятельности. Эта задача также решается с использованием экспертных методов. В настоящее время известны различные подходы к оценке весомости критериев [14]. Применение их с последующей обработкой полученных результатов на ПЭВМ позволяет определить значения коэффициентов весомости критериев, входящих в состав оценочной системы.
Конкретный вид объекта оценивания требует "настройки" оценочной системы. Это значит, что в автоматизированной системе экспертного оценивания должны храниться различные варианты структуры оценочной системы, рассчитанные на различные объекты. В каждом конкретном случае должен использоваться соответствующий вариант реализации оценочной системы. Формированию каждого варианта должны предшествовать экспертизы по определению иерархической структуры критериев и по определению сравнительной весомости критериев.
Другой важной особенностью оценочных систем являются пороговые ограничения, отражающие требования, предъявляемые к объектам оценивания по тем или иным критериям. Пороговые ограничения также учитываются при формировании оценочной системы. Сведения о них хранятся в базе данных автоматизированной системы и используются при оценке уровня экономического и инновационного потенциала хозяйствующих субъектов.
Система показателей-фильтров и порогов.
Порогом по показателю называется некоторое фиксированное значение на шкале этого показателя. Смысл введения порога в том, что оцениваемому объекту приписывается низший из возможных уровней экономического и инновационного потенциала, если ее оценка по этому показателю ниже порога. Причем, этот результат не зависит от оценок исследуемого объекта по другим показателям развития.
Фильтром называется показатель, порог по которому выше минимального значения шкалы этого показателя. Из этого определения вытекает, что не все показатели играют роль фильтров. Решение о том, какие показатели делать фильтрами, принимает экспертная комиссия по результатам "взвешивания" показателей оценки потенциала хозяйствующих субъектов, в качестве фильтров выбираются наиболее значимые показатели экономического и инновационного развития.
Построение и агрегирование деревьев критериев и показателей в автоматизированной системе при коллективной экспертизе.
Анализ функционирования автоматизированных систем, предназначенных для оценки многокритериальных объектов, что технология формирования критериев и показателей включает следующие шаги:
- формируется единый словарь наименований целей оценки и наименований возможных критериев;
- каждый эксперт вводит в систему свое представление об иерархии целей. При этом он указывает, каким критерием можно измерить степень достижения каждой цели и присваивает веса всем критериям. Выполняя эту работу, эксперт обязан пользоваться единым словарем, сформированным ранее;
- программа агрегирования строит обобщенное дерево на основе всех экспертных деревьев.
Одновременно, программно определяется степень согласованности экспертных мнений. Строится обобщенное дерево, имеющее наибольшую степень согласованности. Если степень согласованности получается менее пятидесяти процентов, то считается, что обобщенное дерево построить невозможно. Последний результат говорит о том, что мнения экспертов значительно расходятся и, следовательно, проблема нуждается в более глубокой проработке.
Важными этапами информационной технологии оценки многокритериальных объектов являются формирование оценочных шкал и порогов и калибровка оценочной системы.
В подавляющем большинстве автоматизированных систем для получения значений критериев по значениям показателей применяется средневзвешенный способ свертки значений показателей.
В разработанной творческим коллективом под руководством д.т.н. Б.Г.Литвака и д.т.н. Н.А.Селезневой автоматизированной системе экспертного оценивания АСЭО-5, одновременно со средневзвешенной сверткой, используется свертка значений показателей качества по методу Руссмана.
Пусть x - есть оценка i-го объекта оценки по j-му показателю. Пусть, далее, e - нормативное значение j-го показателя, а w - вес этого показателя. Обозначим через y нормированное значение x .
Должны выполняться следующие соотношения:
а) 0 < y < 1. Для этого оценки по каждому показателю должны нормироваться по формуле:
 ,
причем, минимальное и максимальное значения определяются шкалой, по которой выполняется оценка и наилучшим значением считается максимальное;
б) w > 0; Сумма всех w = 1;
в) 0 < e < 1.
Расчет выполняется по формулам:
 ,
D =1- П(1-d)w,
где d - величина, трактуемая как трудность достижения наилучшего значения по данному показателю,
D - трудность достижения наилучшего значения, по всем показателям данного критерия.
Величина D является значением критерия для заданного набора показателей. При этом большее значение D трактуется как худшее значение критерия. Следовательно, оценки по критерию оказываются ранжированными по возрастанию предпочтительности, если значения D расположены в порядке убывания.
Глава II. Разработка методов и моделей анализа, обработки экспертной информации при оценке хозяйственной и инновационной деятельности предприятий, факторных особенностей их ресурсного обеспечения. |
