4.4. Оценка эффективности деятельности учреждений культуры на основе модели CAF
В 2000 году Европейским институтом административного управления (European Institute of Public Administration, EIPA) была разработана модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Общая схема оценки (Common Assessment Framework, CAF). Модель разработана под эгидой Инновационной группы по вопросам публичной службы (IPSG) и рабочей группы национальных экспертов, формируемой Генеральным директоратом Еврокомиссии с целью стимулирования обмена и распространения лучшего опыта по модернизации систем предоставления государственных услуг и услуг бюджетных организаций в странах-членах ЕС. Модель CAF используется в программах реформирования государственного и муниципального управления 27 европейских стран, для сравнительного анализа систем управления европейских государств, а также для выявления и распространения передового опыта.
Модель CAF представляет собой простой инструмент, помогающий организациям бюджетной сферы применять для повышения эффективности своей деятельности методы менеджмента качества. Она предназначена для использования во всех организациях, финансируемых из бюджетов различных уровней: федерального, регионального, местного.
Развитие модели CAF преследует четыре главных цели:
Внедрение в сферу административного управления принципов менеджмента качества и содействие их развертыванию.
Предоставление механизма для самооценки организации с целью диагностирования и улучшения ее деятельности.
Обеспечение взаимосвязи между различными моделями менеджмента качества.
Обмен опытом между организациями бюджетной сферы и изучение лучшей практики.
Хотя CAF фокусируется на оценке административного менеджмента, ее конечной целью является улучшение государственного управления.
Преимущества модели CAF:
Определение сильных сторон организации и первоочередных направлений для улучшения деятельности.
Разработка программы действий по проведению улучшений.
Улучшение внутренних связей и взаимопонимания в организации.
Вовлечение персонала в решение проблем повышения качества.
По сравнению с более сложными моделями тотального управления качеством (Total Quality Management – TQM), CAF является дружественной для начального уровня внедрения. Организации, освоившие CAF и намеренные совершенствовать свое административное управление дальше, как правило, выбирают модель более высокого уровня. При этом, несомненным преимуществом CAF является совместимость с большинством этих моделей, а общая схема оценки может быть первым шагом для организаций, желающих основывать свою деятельность на принципах управления качеством.
CAF является универсальной моделью и допускает возможность адаптации к специфическим требованиям пользователей модели, но изменения не должны затрагивать базовую структуру CAF – 9 критериев, 28 составляющих и систему оценки.
Графическая схема CAF представляет собой девять прямоугольников, которые определяют структуру критериев модели и являются основой самооценки деятельности организации. Критерии объединены в две группы. Группа «Возможности» объединяет критерии 1 – 5, которые описывают деятельность организации и подходы, используемые организацией для достижения желаемых результатов. Группа критериев «Результаты» (критерии 6 – 9) определяет показатели деятельности организации (показатели восприятия и внутренние индикаторы) для сотрудников организации, граждан/потребителей, общества в целом, а также основные результаты этой деятельности.
Каждый критерий модели объединяет несколько составляющих. 28 составляющих определяют приоритетные области, которые должны быть оценены при анализе деятельности организации. Каждая составляющая содержит предполагаемые области для оценки, которые помогают определить, отвечает ли деятельность организации требованиям данной составляющей.
Рис. 15. Структура модели CAF
Перечень критериев модели CAF с описанием их назначения приведен в табл.1. Структура критериев с перечнем составляющих этих критериев и примерами составляющих описана в приложении к настоящему отчету.
Оценка составляющих первых пяти критериев происходит на основе оценочных таблиц для группы «Возможности». Начиная с критерия 6, акцент в оценке сделан на результатах, которые достигла организация, используя имеющиеся возможности. Оценка составляющих критериев 6 – 9 происходит на основе оценочных таблиц для группы «Результаты».
Табл. 1. Критерии CAF и их назначение
№№ п/п
|
Критерий
|
Описание критерия
|
Возможности
|
1.
|
Лидерство
|
Критерий оценивает:
как руководители определяют миссию своей организации, вырабатывают стратегию развития и способствуют ее реализации;
как они формируют ценности, необходимые для достижения долгосрочного успеха, и внедряют их с помощью соответствующих мероприятий и личного примера;
насколько они вовлечены в процессы, обеспечивающие улучшение качества предоставляемых организацией услуг
|
2.
|
Стратегия и планирование
|
Критерий оценивает, как организация реализует свое предназначение и стратегию развития, цели, планы и задачи, ориентируясь на нужды и ожидания потребителей своих услуг: граждан, бизнеса, некоммерческих и иных организаций, органов государственной власти различных уровней, общества в целом. Организация должна постоянно отслеживать достижение стратегических целей и актуализировать их по мере необходимости.
|
3.
|
Персонал
|
Критерий оценивает, на каких принципах строится работа с кадрами в организации, как развиваются и используются знания и потенциал работников, распределяются обязанности внутри коллектива для обеспечения эффективной деятельности
|
4.
|
Партнерства и ресурсы
|
Критерий определяет, каким образом строятся взаимоотношения с внешними партнерами и как планируются и управляются внутренние ресурсы для обеспечения эффективного функционирования организации.
|
5.
|
Процессы
|
Критерий определяет, как регламентируются, управляются и совершенствуются процессы, осуществляемые организацией с целью максимально эффективного удовлетворения нужд и ожиданий всех заинтересованных сторон
|
Результаты
|
6.
|
Результаты для потребителей / граждан
|
Критерий определяет результаты в отношении удовлетворения интересов граждан и других групп потребителей: заинтересованных организаций (коммерческих, общественных, политических и иных), смежных организаций
|
7.
|
Результаты для персонала
|
Критерий оценивает результаты в отношении удовлетворения интересов и потребностей работников
|
8.
|
Результаты для общества
|
Критерий определяет результаты в отношении удовлетворения интересов общества на местном, региональном, национальном и мировом уровнях
|
9.
|
Ключевые результаты
|
Критерий определяет существенные измеримые результаты, достигнутые организацией при реализации стратегических и текущих планов, включая решение политических задач
|
Модель CAF является не только оценочной схемой различных аспектов деятельности организации, она также предполагает, что все ее элементы взаимосвязаны и оказывают воздействие друг на друга. В структуре модели установлены следующие внутренние связи:
причинно-следственная связь между левой частью (возможности - причины) и правой частью (результаты - следствия);
системная связь между причинами (возможностями).
Взаимосвязь между левой и правой частями модели представляет собой причинно-следственную связь между возможностями (причинами) и результатами (следствиями), а также обратную связь от следствия к причинам. Изучение причинно-следственных связей является ключевым элементом самооценки, когда должна четко прослеживаться зависимость между достигнутым результатом и использованными возможностями. Хотя подобные зависимости не всегда легко обнаружить, наличие обратной связи – от результатов, находящихся в правой части модели, к соответствующим возможностям, выраженным пятью критериям слева – должно учитываться при проведении оценки.
Взаимосвязь между критериями и составляющими группы «возможности» должна приниматься во внимание при проведении самооценки потому, что качество результатов организации в большой степени определяется соотношением ее возможностей. Внутренние взаимосвязи каждой организации носят индивидуальный характер, что определяет качество самой организации. Например, лучшие организации характеризуются сильными взаимодействиями между критерием 1 и критериями 2/3/4, между критерием 3 и критериями 4/5. Взаимосвязи возможностей не ограничиваются уровнем критериев, часто существенное взаимодействие происходит на уровне составляющих.
Модель CAF предполагает количественную оценку системы управления в организациях, финансируемых из государственного или муниципального бюджета, путем присвоения баллов каждому критерию и составляющей критерия. Оценивание в баллах каждого критерия и составляющей модели CAF преследует 4 главных цели:
Предоставить информацию для определения направлений, где необходимы первоочередные улучшения.
Измерить собственный прогресс, проводя оценку по критериям CAF ежегодно или раз в два года.
Определять в качестве успешного опыта направления, по которым получены наивысшие баллы.
Помогать находить партнеров для эталонного сопоставления (бенчмаркинга) и изучения лучшего опыта.
Модель CAF предлагает две схемы оценки: классическую и развернутую. Классическая схема оценки CAF помогает организации начать знакомство с методологией непрерывного улучшения. Развернутая оценка по CAF предназначена для организаций, которые желают провести более детальный анализ составляющих модели. Обе схемы позволяют оценить каждую составляющую в контексте четырех стадий цикла непрерывного улучшения PDCA (Plan–Do–Check–Act – Планирование–Выполнение–Проверка–Воздействие). Цикл PDCA является фундаментом обеих схем оценки. В отличие от классической 5-балльной оценочной шкалы, развернутая шкала оценки представляет собой 100-балльную систему оценки, как это принято в измерительных системах многих других мировых моделей.
Оценка возможностей организации по классической схеме выполняется в следующем порядке:
выбор очередной составляющей критерия;
определение достигнутого организацией уровня состояния дел, определяемого данной составляющей: планирование, выполнение, проверка или воздействие. Причем, данная последовательность не должна быть нарушена. Нельзя перейти на уровень «воздействие», миновав уровень «проверка»;
формирование оценки, руководствуясь интервалом для достигнутого уровня в рамках 100-балльной шкалы (табл.2). Эта оценка будет указывать на степень реализации имеющихся возможностей.
Табл. 2. Классическая схема оценки критериев и составляющих группы «Возможности»
Фаза
|
Выполняемые работы
|
Оценка
|
Уровень
|
|
Организация не ведет деятельности по данному направлению
В организации не имеется информации, или информации недостаточно
|
0 – 10
|
0
|
Планирование (P)
|
Организация планирует развивать данное направление
|
11 – 30
|
1
|
Выполнение (D)
|
Организация ведет деятельность по данному направлению
|
31 – 50
|
2
|
Проверка (C)
|
Организация оценивает / анализирует то, что делает в данном направлении
|
51 – 70
|
3
|
Воздействие (A)
|
На основе оценки и анализа организация пересматривает используемые подходы, если это необходимо
|
71 – 90
|
4
|
PDCA1)
|
Организация планирует, выполняет, контролирует и регулярно корректирует деятельность в данном направлении, учится у других и непрерывно совершенствует свои подходы
|
91 – 100
|
5
|
Примечание: 1). Уровень оценки возможностей, соответствующий фазе PDCA, достигается только в том случае, когда неотъемлемой частью процесса совершенствования в организации является бенчмаркинг.
Оценка результатов, достигнутых организацией по каждой составляющей, согласно классической схеме выполняется в следующем порядке:
выбрать очередную составляющую критерия;
оценить от 0 до 100 каждую составляющую критерия в разрезе 6 уровней (в соответствии с табл.3). Для определения уровня можно учитывать как динамику результатов (тенденции), так и степень их достижения, или оба эти показателя вместе.
Табл. 3. Классическая схема оценки критериев и составляющих группы «Результаты»
Достигнутые результаты
|
Оценка
|
Уровень
|
Нет измеримых результатов и/или нет достоверной информации
|
0 – 10
|
0
|
Результаты измеряются и показывают негативные тенденции и/или результаты не соответствуют установленным
|
11 – 30
|
1
|
Результаты показывают слабые тенденции к росту и/или некоторые цели достигнуты
|
31 – 50
|
2
|
Результаты показывают тенденции к улучшению и/или большинство целей достигнуто
|
51 – 70
|
3
|
Результаты показывают устойчивый прогресс и/или все установленные цели достигнуты
|
71 – 90
|
4
|
Достигнуты наилучшие результаты. Все цели достигнуты. Все ключевые результаты лучше, чем у других организаций
|
91 – 100
|
5
|
Развернутая схема оценки является более приближенной к действительности, т.к. является менее формализованной (например, многие организации выполняют свои функции (вторая стадия – «Выполнение»), но при этом недостаточно внимания уделяют планированию (первая стадия – «Планирование»). Среди других особенностей данной схемы:
Для группы «Возможности» четыре стадии PDCA рассматриваются не как последовательность действий по улучшению, а именно как повторяющийся цикл совершенствования, и сами улучшения могут касаться любой из стадий «Планирование–Выполнение–Проверка–Воздействие».
Изучение лучшей практики, как правило, происходит на основе анализа наивысших результатов для каждой из стадий.
Эта схема оценки позволяет получить большее количество информации относительно областей, где необходимо проводить первоочередные улучшения.
Таблица оценки результатов (табл.4) указывает, на что необходимо сделать акцент при планировании улучшений – на изменение тенденций или на достижении целей.
Оценка возможностей организации по развернутой схеме выполняется в следующем порядке:
изучить определение каждой из четырех стадий «Планирование–Выполнение–Проверка–Воздействие»;
найти свидетельства сильных и слабых сторон по каждой из 28 составляющих модели, оценить составляющую в соответствии со стадиями цикла PDCA, используя шкалу состояний. Выставленный балл должен подтверждаться примером из практической деятельности организации. Для каждой из четырех оценочных стадий может быть приведено несколько свидетельств, соответствующих различным оценкам по шкале состояний. В этом случае для каждой из стадий («Планирование–Выполнение–Проверка–Воздействие») вычисляется среднее значение.
вычислить сумму четырех оценок по стадиям PDCA и разделить получившееся значение на 4, чтобы получить оценку по составляющей группы «Возможности», исходя из максимума в 100 баллов.
Табл. 4. Результаты схема оценки критериев и составляющих группы «Возможности»
Фаза
|
Шкала
|
0 - 10
|
11 - 30
|
31 - 50
|
51 - 70
|
71 - 90
|
91 - 100
|
Свидетельства
|
Нет свидетельств или лишь отдаленные подтверждения
|
Отдельные слабые свидетельства
по нескольким направлениям
|
Отдельные хорошие свидетельства по важным направлениям
|
Основательные свидетельства по большинству направлений
|
Значительные свидетельства по всем направлениям
|
Наилучшие свидетельства по сравнению с другими органами власти по всем направлениям
|
Планирование
|
Планирование основано на требованиях и ожиданиях заинтересованных сторон. Планы разрабатываются регулярно для всех направлений деятельности
|
|
|
|
|
|
|
Оценка
|
|
|
|
|
|
|
Выполнение
|
Деятельность осуществляется на основе регламентированных процессов и установленных зон ответственности по всем направлениям деятельности
|
|
|
|
|
|
|
Оценка
|
|
|
|
|
|
|
Проверка
|
Проводится мониторинг всех процессов на основе установленных показателей, процессы по всем направлениям деятельности регулярно пересматриваются
|
|
|
|
|
|
|
Оценка
|
|
|
|
|
|
|
Воздействие
|
Корректирующие и улучшающие действия предпринимаются регулярного на основе измерения результатов по всем направлениям деятельности
|
|
|
|
|
|
|
Оценка
|
|
|
|
|
|
|
Итого/400
|
|
Оценка/100
|
|
Оценка результатов организации по развернутой схеме выполняется в следующем порядке:
рассмотреть отдельно динамику результатов организации за последние 3 года и цели, достигнутые в прошлом году;
оценить тенденции по шкале от 0 до 100 в соответствии с шестью состояниями (табл.5);
оценить степень достижения целей прошлого года по шкале от 0 до 100 через в соответствии с теми же шестью состояниями;
вычислить сумму оценок тенденций и целей, разделить получившееся значение на 2, чтобы получить оценку по составляющей группы «Результаты», исходя из максимума в 100 баллов.
Табл. 5. Развернутая схема оценки критериев и составляющих группы «Результаты»
Шкала
|
0 - 10
|
11 - 30
|
31 - 50
|
51 - 70
|
71 - 90
|
91 - 100
|
Тенденции
|
Не измеряются
|
Негативные тенденции
|
Слабые тенденции к росту
|
Устойчивый рост
|
Большой рост
|
Лучшие показатели по сравнению с другими организациями
|
Оценка
|
|
|
|
|
|
|
Цели
|
Нет или мало данных
|
Результаты не отвечают целям
|
Достигнуты немногие цели
|
Некоторые важные цели достигнуты
|
Большинство важных целей достигнуто
|
Все цели достигнуты
|
Оценка
|
|
|
|
|
|
|
Итого/200
|
|
Оценка/100
|
|
|
