"Методы анализа данных-4: анализ издержки-выгоды, анализ издержки-эффективность" (17 ноября 2005)1
Даниил Цыганков: Добрый вечер, уважаемые коллеги! Нашему семинару через неделю исполняется ровно год – он стартовал 24 ноября 2004 г. Мы практически полностью прошлись по всем методам, которые были описаны в гайде Еврокомиссии. Сегодняшний семинар посвящен двум «оставшимся» методам – анализу издержки-выгоды (cost-benefit analysis) и анализу издержки-эффективность (cost-effectiveness analysis). После сегодняшнего семинара мы сможем честно сказать, что год друг друга учили, теперь мы сможем скрещивать методы и применять их в исследованиях. В декабре мы планируем презентировать исследование, которые мы делали для РАО ЕЭС. А с января 2006 мы посмотрим: так как после 16 декабря будет оглашено решение по нашей грантовой заявке – на место студенческого межфакультетского семинара должен встать общегородской коллоквиум, подготовка к которому будет более серьезной. Итак, приступим к сегодняшней теме. Первой будет выступать Мария Калиновская, студентка 4 курса факультета прикладной политологии.
Мария Калиновская: Сегодня я представлю Вашему вниманию метод, который носит название cost-benefit analysis, или на в переводе на русский язык - анализ издержки-выгоды. Сначала несколько слов об истории метода. Он зародился в 19 в во Франции, потом перекочевал в США, где и получил основной толчок к развитию в 40-е гг. 20 в. Это было связано с необходимостью проведения исследования по улучшению всевозможных морских и речных путей, было дано задание анализа этой проблемы. Именно в этот момент впервые озадачились издержками и выгодами. До сих пор в этой области ведутся разработки, нет окончательно сформировавшегося вида этого метода. Он применятся в широком спектре проблем.
Основой метода является оценивание чистой экономической прибыли от реализации какого-либо проекта или программы. Он позволяет определить возможности, отразить выгоды и издержки в разные моменты времени, оценить в денежном выражении обычно неисчисляемые эффекты и подвести итог и подсчитать все данные для принятия окончательного решения.
Метод применяется в основном ex-ante при выборе проекта. Также есть возможность применять его ex-post для оценки экономического эффекта от реализации проекта. В основном CBA используется в сферах, где тяжело оценить все эффекты только финансовыми инструментами: инфраструктура, транспорт, экология, образование, здравоохранение, культура.
Техника основана на прогнозировании экономических эффектов проекта, их квантификации и монетизации. Главной особенностью является то, что при реализации проекта, ожидаются всевозможные эффекты, которые невозможно оценить сходу в денежном эквиваленте. Этот метод позволяет инструментами привести эффекты к общему знаменателю и включить из в общую структуру.
Основными этапами анализа издержки-выгоды являются описание проекта, его технический анализ, финансовый анализ, экономический анализ, анализ чувствительности, анализ рисков и выбор наилучшего варианта.
Финансовый анализ является точкой отсчета экономического анализа. Он учитывает только реальные денежные доходы и расходы, строится на трех основных таблицах: инвестиционные издержки (патенты, лицензии для закупки), операционные издержки (стоимость материалов, рабочей силы и т.п.) и источники финансирования (частные, бюджетные капиталы).
После смотрят, является ли проект финансово выгодным и реализуемым. Для этого проводят экономический анализ, который включает в себя коррекцию фискальных эффектов, расчет позитивных и негативных внешних эффектов, переход от рыночных цен к теневым ценам и вычисление экономической отдачи проекта (NPV, IRR).
Основные правила CBA достаточно просты, но ими необходимо руководствоваться. Так основной показатель – чистая приведенная стоимость (Net Present Value) – должен быть обязательно больше 0 после всех вычислений. Также метод позволяет из нескольких предложенных выбрать наилучший.
Метод обладает рядом преимуществ, среди которых основе то – что он дает возможность отразить экономическую применимость проекта. Просто построить дорогу – это одно, а просчитать, насколько снизится смертность на этой трассе – это гораздо труднее и важнее. Метод дает также возможность использования ранжирование альтернатив – т.е. можно выбрать наилучшую точку зрения. Всегда существует множество точек зрения, которые часто противоречат друг другу. Например, в городе собираются строить зону отдыха, то на данный объект можно посмотреть с разных сторон – с чисто строительных затрат и выгод, с точки зрения экологической организации или со стороны социальной – насколько это будет полезно для общества. Кроме того, метод позволяет определять издержки и выгоды, даже если они не всегда монетизируются.
В ограничения к этому методу я бы хотела включить то, что не учитываются эффекты перераспределения и экономическое воздействие немонетизируемых выгод.
Что касается сфер применения этого метода, он является распространенным и применяется не только обособленно, но и в совокупности с другими – в основном это экономические вещи: подсчет прибыли, расходом и т.п. Что касается конкретных примеров, в российских источниках мне не попалось конкретных примеров применения метода при реализации государственных политик. Я подразумеваю, что метод применяется, по крайней мере, очень хотелось бы, чтобы он применялся при планировании столь важных проектов. Я в основном столкнулась с применением метода в IT- технологиях, телефонных сетях и т.п.
Важным моментом является оценка стоимости человеческой жизни, который все время остается открытым. В канадском источнике существует градация: человеческая жизнь закладывается равной 2,5 млн. долларов, если получено тяжелое ранение – 66 тыс. долларов, легкое – 25 тыс. В России, я думаю, такие суммы не закладываются, они на порядок меньше, и, наверное, не закладываются, а рассматриваются с точки зрения страхования. Подводя итог, хочу сказать, что метод универсален. Практикам в нашей стране необходимо брать пример с западных коллег и максимально прописывать эффекты, даже ели они трудно монетизируемы.
Даниил Цыганков: Спасибо. Я предлагаю задать конкретные вопросы, возникшие по презентации. К общей дискуссии мы перейдем позднее.
Вадим Маршаков: Вопрос относительно анализа рисков, который был включен в CBA. Насколько мне известно, это отдельная ветвь анализа - риски рассчитываются отдельно.
Мария Калиновская: Почему я включила этот метод? Разобранные мною два источника содержали разные методы: в одном была первая часть указанных мною методов (описание проекта, его технический анализ, финансовый анализ, экономический анализ), в другом – вторая (анализ чувствительности, анализ рисков и выбор наилучшего варианта). Поэтому я посчитала необходимым включить все методы.
Вадим Маршаков: Да, вероятно это возможно на уровне финальной матрицы. Т.к, например, в американском циркуляре, регулирующем CBA, анализ рисков идет отдельно.
Даниил Цыганков: Вспоминая совместный семинар с коллегами, занимающимися экономикой здравоохранения, возникает следующий сюжет. Политические возможности принятия решения об инвестициях в тот или иной вид лекарственного обеспечения чрезвычайно сложны. По-прежнему, в анализе издержек-выгод квантифицируются неполитические эффекты. Политические решения оставляются политикам.
Мария Калиновская: Я думаю, изначально этот метод подразумевался без учета политических моментов. Метод позволяет посмотреть, будет ли проект финансово выгоден, принесет ли он результат. Но он не включает в себя лоббирование, договоренности с властями. На мой взгляд, данная статья расходов занимает не последнее место. Т.к. метод развивается, в России это необходимо учитывать. Какой смысл разрабатывать экономически выгодный проект, если он будет не нужен лицу, принимающему решение, и будет заранее ясно, что проект не пройдет.
Владимир Балакирев: Есть какие-либо отличия в оценке до реализации проекта и после? Есть ли принципиальная разница? Может быть, есть примеры?
Мария Калиновская: Примеров на этот нюанс мне не попадалось, но как мне кажется, до реализации анализ позволяет выбрать альтернативы и что-то изменить, принять окончательное решение. После запуска проекта и получения результатов этот метод позволяет посмотреть, где были допущены ошибки или как их можно будет в будущем избежать.
Даниил Цыганков: Я думаю, вопрос был более методического характера. До реализации проекта – прогнозное, поисковое оценивание.
Вадим Маршаков: Следует учитывать разницу в имеющихся данных. На уровне ex-ante, это, в первую очередь, экспертное знание. В процессе будет статистика, если она есть. Одна из главных проблем – колоссальный недостаток информации. Во многих случаях, людям, которые проводят исследование, приходится эти дыры залатывать самим. Валидность и качество экспертного знания могут в совокупности свести все достоинства этого метода на нет.
Мария Калиновская: Иногда проще сначала сделать, а потом оценить результаты.
Даниил Цыганков: Да уж, получается реформа как эксперимент, по Дэвиду Кэмпбеллу. Хорошо, давайте перейдем ко второй части. Выступит Илья Компасов, студент 4 курса факультета прикладной политологии.
Илья Компасов: Мой доклад посвящен методу анализа издержки-эффективность. Структура доклада такова: описание метода, его цели, область применения, основные шаги, примеры, а также преимущества и недостатки.
Метод cost-effectiveness analysis – инструмент оценивания, который помогает определить эффективность использования вложенных ресурсов в таких областях политики, где конкретную выгоду трудно посчитать. Это также метод выбора между альтернативными проектами с одинаковыми целями. Он используется для тех случаев, когда измерить выгоду в денежном выражении очень трудно или вообще невозможно. Анализ издержки-эффективность в оценивании означает расчет социального индекса прогнозируемых издержек достижения необходимого социального эффекта. Подход позволяет выбрать решения, минимизирующие издержки по устранению конкретных рисков. Необходимо сразу заметить ограничения – данный метод не предназначен для оценки проектов с несколькими целями ли объектами. В случае многоцелевого проекта может использоваться более сложная его версия, т.н. весовой анализ эффективности стоимости. В этом методе измеряются веса различных целей и распределяются по шкале приоритетов.
Такая техника несколько сродни Value for money assessment – на русский язык можно перевести как стоимостная эффективность. Поэтому об этом методе я также скажу несколько слов. Национальный офис аудита в Англии предполагает, что существует 3 ключевых аспекта метода Value for money assessment в публичном секторе. Первое – это Economy (экономия) – минимизация запланированных расходов – тратить меньше. Второе – Efficiency (рентабельность) – отношение между результатами и количеством ресурсов – тратить хорошо. И третье – Effectiveness (эффективность) – отношение между предполагаемыми и реальными эффектами от программы – тратить разумно. Таким образом, оценка стоимости денег помогает понять тип воздействия на проект.
Цели метода. Вообще оценивание подразумевает пол собой политическое действие, целью которого является информирование общества об эффективности использования тех или иных общественных ресурсов. Задачей анализа издержки-эффективность является показать эффективность (рентабельность) внедряемых политик, а также оценка способности достичь желаемых целей. Цели должны быть выражены в конкретных данных, а не в деньгах. Например, целью может быть снижение смертности путем внедрения политики в области здравоохранения.
Этот метод лучше всего использовать оценка для проектов в областях, где достигнутую выгоду трудно монетизировать: здравоохранение, образование и другие социальные сферы. Метод используется для сравнения альтернативных проектов, но обязательно в одном контексте и с одними целями. Метод используется, как для ex-ante, так и для ex-post оценивания. Метод может использоваться тогда, когда ожидаемые цели и эффекты четко определены. Например, количество созданных рабочих мест, количество выздоровевших людей и т.п. Что касается метода Value for money assessment – он также применяется в обоих случаях для анализа как ex-ante, так и ex-post. Если департамент правительства выступил с инициативой поддержать малый бизнес, то они могли бы использовать ex-ante оценку, чтобы выявить вероятность выгоду в этой программе и конкретную стоимость каждой выгоды. Результатом такого анализа может являться решение о внедрении проекта или отвержение.
Следующий слайд показывает таблицу с примером издержек и доходов, связанных с проектом А, В и С. В первой колонке – основные вклады, которые делаются вообще, во второй – ежегодная стоимость внедрения программы, в третьей – расходы на текущие материалы. Можно отследить на графике ход каждой из программ.
Перейдем к основным этапам метода. Их обычно четыре. Первый – формулировка программы и объекта исследования, т.е. определение ожидаемого результата и его квантификация в физических терминах. Второй – предварительная оценки общей стоимости программы, ресурсов общественного сектора, в основном включаются данные в денежном выражении, иногда данные сравниваются с выгодами. Определяется общая стоимость программы, выясняется возможность использования метода. Третий этап – измерение общего воздействия (impact) – возможен, как на основе первичных, так и на основе вторичных данных или на базе моделирования возможных эффектов от воздействия. Четвертый этап – подсчет коэффициента «издержки-эффективность». Подсчитывается он путем простого деления output на outcome.
Перейдем к следующему слайду. Я назвал его «составление сметы», т.е. стоимость проекта включает в себя всевозможные затраты. Прямые расходы – это крупные вложения (здания, оборудование), персонал и материалы. Косвенные расходы включают стоимость затраченного времени и стоимость вклада пользователей.
В качестве примера ex-post оценки могу привести программу, которая была проведена в Великобритании. Исследование проводилось National Audit Office и было направлено на оценку, количества созданных рабочих мест и стоимость создания каждого рабочего места, возникли ли эти рабочие места просто так или же вследствие введения программы. Общая стоимость программы составила 300 млн. фунтов. Было создано 110 тыс.рабочих мест, однако лишь 21 тыс. оказались постоянными. Стоимость каждого рабочего места оказалась 21 тыс. фунтов. Нельзя забывать о побочном эффекте – смещения – рабочие места могли были быть созданы сами по себе, другие люди могли просто поменять род деятельности, это также защитывалось как новое рабочее место – таких оказалось 15%. В ходе программы выяснилось, что административные издержки составили более 10% стоимости. Таким образом, исследователи полагают, что программа показала себя как неэффективная с точки зрения анализа value for money.
Следующий пример – применение метода «издержки-эффективность» в медицинских программах. Рассмотрим программу по уменьшению детской и материнской смертности при родах. Существуют 3 альтернативных программы: программа А – улучшение уровня обслуживания в сельских медицинских центрах, программа В – улучшение уровня обслуживания в районных больницах и программа С – дополнительное оборудование и обучение персонала в районных больницах. Как можно видеть из таблиц, программа А является самой эффективной с точки зрения достигнутых целей, при этом она является самой дорогостоящей. Нам важно посчитать сочетание цены и качества. Была посчитана стоимость каждой спасенной жизни и сравнена со стоимостью программы. Из этого видно, что программа С наиболее эффективна с точки зрения анализа «издержки-эффективность».
Как посчитать коэффициент «издержки-эффективность»? В этом нет ничего сложного. Я предлагаю рассмотреть метод подсчета на примере образовательной программы. Имеются 4 альтернативных проекта по улучшению математических способностей студентов и альтернативные методы преподавания: в маленьких группах, самообразование, компьютерное обучение или программа с участием репетиторов-ровесников. Эффекты измеряются обычным тестированием после прохождения курса. Высчитана стоимость, затраченная на каждого студента. Коэффициент «издержки-эффективность» высчитывается путем простого деления стоимости выгоды на каждую единицы на эффект. Самой эффективной оказывается программа тьюторская.
В заключение хочу сказать о преимуществах и недостатках метода. Метод позволяет оценить и учесть немонетизируемые эффекты программы, ведется особенно точный учет краткосрочных и среднесрочных эффектов, а также существует возможность использования для ex-ante, ex-post и on-going оценивания. Что касается недостатков, то это неточный учет эффектов в долгосрочном периоде и возможность использования только при наличии явных эффектов введения проекта. К недостаткам можно отнести некоторую субъективность – подсчет выгод всегда основан на предположении. Спасибо.
Даниил Цыганков: Пожалуйста, вопросы по второй части.
Вадим Маршаков: Было сказано, что метод работает только тогда, когда есть альтернативные программы. Велика вероятность выхода на немонетизируемые эффекты.
Илья Компасов: Метод используется для выбора одной из альтернативных программ.
Вадим Маршаков: Это можно отнести к недостаткам метода.
Илья Компасов: Да, согласен.
Даниил Цыганков: Можно ли выделить проекты, где анализ издержек-выгод подходит больше, чем анализ издержки-эффективность?
Мария Калиновская: Я думаю, что они не являются взаимоисключающими. Они дополняют друг друга.
Илья Компасов: Насколько я понял, проводя исследование методом издержки-эффективность выявляется необходимость совмещения его с анализом издержки-выгоды. Точных примеров, к сожалению, не могу. Но они часто применяются вместе.
Владимир Балакирев: Говоря об обоих методах и тех источниках, которые Вы использовали, приведите примеры конкретных программ, которые проводились, потому что это довольно общие вещи. Есть ли вообще примеры решений.
Мария Калиновская: То, что я встречала, там не было конкретного примера. В основном приводятся учебные примеры на каждый пункт программы, но например в Канаде метод используется в различных сферах – оценивается правильность-неправильность использования миграционной политики страны и строительство дорог.
Даниил Цыганков: Это оценка регулирующего воздействия путем включения анализа издержки-выгоды. Это англо-саксонская традиция. Она применяется при написании заключений. Другое дело, достаточно ли у нас для ОРВ анализа издержки-выгоды?
Илья Компасов: Судя по описанию и структуре, методы вполне вменяемы. Может быть, есть третий вариант, что мы не нашли примеров применения. История его применения насчитывает более 70 лет.
Мария Калиновская: У нас возникло предположение, что нет культуры применения в России. Не просто так придумывают реформы и их оценивают, но по сравнению с США культуры обязательного оценивания у нас нет.
Вадим Маршаков: Проблема, наверное, в том, что не просто нет процедуры привлечения экспертного знания. Просто когда мы пытались использовать конкретные материалы по CBA, столкнулись с вопросом, действительно ли все там на Западе определяет экспертное знание. В этом случае оценивание представляет собой ноу-хау. Так как экспертные методы к оцениванию прямого отношения не имеют. И этот вопрос так и остался открытым. Дело в том, что вся кухня закрыта. Некоторые консалтинговые компании предлагают услуги. А в случае, когда используется экспертное знание, процесс анализа координируется.
Софья Яблочкина: А обработка данных?
Вадим Маршаков: Вопрос в том, где ноу-хау, где его added value? Если все сводится к тому, что мы собрали экспертов, составили опросник и провели опрос, это одно, если же мы что-то применяем, это уже другое.
Валентина Яхнина: В литературе мы сталкиваемся с тем, как измеряются затраты, даже немонетизируемые. С этим вы встречались? Как-то это пытались описать?
Мария Калиновская: То, что мне встречалось, были обозначены три таблицы, где смотрятся стоимость инвестиционных затрат, операционных затрат. На мой взгляд, это вещи, которые вполне возможно просчитать – это стоимость рабочей силы, сколько человек будет работать на объекте, сколько будет стоить аренда техники, патенты. Рыночная стоимость процессов. Это финансовая часть. К ней плюсуются трудно монетизируемые моменты. Их много. Стоимость человеческой жизни, например. Про канадский пример я уже говорила. Подходов также много.
Даниил Цыганков: Нужно учитывать и то, что помимо политических последствий, существуют политические аспекты подсчета.
Софья Яблочкина: Мне кажется, хороший пример – это ОСАГО. Там тоже определяется стоимость жизни, сломанной ноги и т.п. К этому пришли. Я думаю здесь тоже можно разобраться.
Вадим Маршаков: В случае с электроэнергетикой, например, мы разводили косвенные и прямые издержки. И считали, сколько это может стоить в целом. Косвенные издержки могут быть институциональными – создание новых контролирующих органов, если речь идет о техническом регулировании.
Владимир Балакирев: Я хотел бы поделиться размышлениями. В реальной работе всегда есть стремление к выбору самого простого решения. Это всегда очень притягательная вещь. Я сейчас понимаю, что, наверное, это пока невозможно. Существует закрытость. Отсутствие ярких примеров это показывает. Мне кажется, с этим стоит жить. В практической работе хорошо, когда есть проекты. Ты можешь все согласовывать с заказчиком. И там лучший вариант тот – о котором вы договорились.
Даниил Цыганков: Не могли бы Вы назвать количественные методы из Вашего большого опыта, которые бы реально применялись.
Владимир Балакирев: Я вспоминаю сейчас. Тут нужно иметь в виду проекты, но в целом оценивая, количественные методы очень привлекательны для заказчика. Ты приносишь таблицу – и заказчик воодушевлен. Когда человек пытается принять решение, начинаются разные эффекты: разочарование, недовольство и т.д. Если говорить о мировой тенденции, я все-таки занимаюсь более социальными проектами, может быть, не такими крупными, но я думаю, будущее за смешанными подходами. Более того, я думаю, будущее за тем, чтобы обсуждения о применимости методов происходили в процессе принятия решений. Я не верю в то, что мы договоримся. Я столько раз видел, что договариваешься, приносишь все, а заказчик недоволен. Это смыкается с политическими процессами. А на уровне общения с заказчиком – это консультационный процесс. Я знаю, что в крупных компаниях, если говорить о социальных программах, сейчас есть разочарование количественными методами. Заказчик говорит, к нам приходят консультант, предлагает оценить стоимость, эффекты и, в конце концов, приносит цифры, о которых мы итак знаем. Не происходит понимания. На основании этого очень сложно принимать решение. Говоря о международных агентствах, Всемирный банк – это организация, которая в основном использует количественные методы. Они апологеты этого. Их сильно критикуют тем не менее.
|
