Дуглас Хаббард. Как измерить всё, что угодно

Глава. 4. Формулирование задачи по измерению Прежде чем приступить к измерению, задайте себе следующие пять вопросов: Какое решение будет принято с учетом результатов данного измерения? Что на самом деле представляет собой объект измерения? Почему данное измерение необходимо для принятия решения? Что мы знаем об объекте измерения в настоящий момент? Какова ценность проведения дальнейших измерений? Первые три вопроса помогают понять, что представляет собой объект оценки в рамках решений, которые планируется принимать по результатам измерения. Если эти результаты вообще имеют значение, то только потому, что они понятным образом влияют на решения и линию поведения. Когда не удается установить, какие решения будут затронуты итогами задуманного измерения и способ их воздействия, значит, это измерение просто не имеет никакой ценности. Какую ценность имеют многочисленные отчеты, составляемые еженедельно и ежемесячно? Когда я попросил их назвать хотя бы одно решение, принимаемое на основе каждого отчета, они обнаружили, что многие из них вообще не используются. Информационная ценность этих отчетов оказалась нулевой. Неопределенность, риск и их показатели: Неопределенность. Отсутствие полной определенности, то есть существование более чем одной возможности. «Истинный» результат (состояние, последствие, стоимость) неизвестен. Показатель неопределенности. Ряд вероятностей, приписанных ряду возможностей. Например: «Есть 60%-ная вероятность того, что данный рынок за пять лет более чем удвоится, З0%-ная вероятность того, что он вырастет не так заметно, и 10%-ная вероятность того, что за тот же период рынок сократится». Риск. Такое состояние неопределенности, когда в число возможностей входят убытки, катастрофы или другие нежелательные исходы. Показатель риска. Набор возможностей с приписанными ими количественными вероятностями и количественно определенным ущербом. Например, «мы полагаем: существует 40%-ная вероятность того, что нефтяная скважина окажется сухой, и в результате мы понесем убытки в размере 12 млн. дол. в виде затрат на разведочное бурение». * * * Специалисты решили, что повышение безопасности означает снижение частоты определенных нежелательных событий и уменьшение ущерба от них. Оказывается, способность человека оценить шансы можно калибровать – точно так же, как любой научный инструмент калибруется для получения правильных показаний. Глава 5. Калиброванные оценки: что вам известно уже сейчас? Один из способов показать неточность определения величины — выразить ее в виде интервала возможных значений. В статистике интервал, в котором с некоторой вероятностью может содержаться правильный ответ, называется доверительным интервалом (confidence interval, CI); 90%-ный доверительный интервал — это диапазон значений, содержащий правильное с вероятностью 90%. ДВЕ КРАЙНОСТИ СУБЪЕКТИВНОЙ ОЦЕНКИ Чрезмерная уверенность наблюдается, когда человек постоянно переоценивает точность своих знаний и оказывается правым реже, чем ожидает. Например, когда такого специалиста просят оценить что-то в виде 90%-ного доверительного интервала, в его пределах оказываются гораздо меньше, чем 90%, правильных ответов. Недостаточная уверенность проявляется, когда человек постоянно недооценивает точность своих знаний и оказывается правым намного чаще, чем ожидает. Например, когда такого специалиста просят оценить в виде 90%-ного доверительного интервала, в его пределы попадают гораздо больше, чем 90%, правильных ответов. Теоретические исследования доказали, что если людей специально учат преодолевать систематические ошибки и необъективность, их оценки становятся существенно точнее. Оказалось, что оценка неопределенности — это навык, который можно приобрести и который можно совершенствовать. Пройдите тест на калибровку (рис. 5.1). Отвечая на каждый вопрос, укажите верхнюю и нижнюю границы интервала. Помните: интервал должен быть таким широким, чтобы вы были на 90% уверены, что правильный ответ попадет в него. Ответы расположены в конце заметки. Рис. 5.1. Тест «Калибровка». Методы повышения точности калибровки вероятности Метод Содержание 1. Повторение и обратная связь Выполните подряд несколько тестов, оценивая результаты каждого, и повторите их, чтобы улучшить в следующий раз 2. Эквивалентные ставки Придумайте эквивалентную ставку для каждой оценки, чтобы проверить, действительно ли предложенный диапазон значений или вероятность отражает неопределенность 3. Перечисление двух доводов «за» и двух «против» Приведите, по крайней мере, две причины, по которым вы уверены в своей оценке, и две причины, по которым вы могли ошибиться 4. Преодоление зацикленности Представьте проблему диапазона оценки в виде двух бинарных вопросов типа: «Уверен ли я на 95%, что истинное значение лежит выше нижней (ниже высшей) границы предложенного мною диапазона?» Пат Планкетт, менеджер по оценке эффективности информационных технологий Министерства жилищного строительства (США) сказал: «Калибровка открыла нам глаза. Многие, включая меня самого, обнаружили, что излишне оптимистичны, делая оценки. Калибровка делает вас другим человеком. Вы приобретаете обостренную способность оценивать степень неопределенности». Глава 6. Оценка риска: введение в моделирование методом Монте-Карло1 ПАРАДОКС РИСКА. Если организация и применяет количественный анализ рисков, то обычно это делается для принятия повседневных оперативных решений. Самые серьезные и опасные решения (чаще всего) формулируются при минимальном использовании полноценного анализа риска. Почти все самые сложные методы анализа риска применяются при принятии простых решений, почти не влекущих серьезных негативных последствий, однако решения о слияниях, крупных инвестициях в ИТ, финансировании научных исследований и т.д. обычно формируются без этой процедуры. Почему так происходит? Может быть, из-за существующего мнения о том, что оперативные решения (одобрение кредита или расчет страховой премии) количественно оценить намного проще в отличие от действительно сложных проблем, связанных с рисками, которые с трудом поддаются точному расчету. Это серьезное заблуждение. Как я уже показал, в важных решениях нет ничего «неизмеримого». Глава 7. Оценка стоимости информации Главные причины тому, что информация имеет свою стоимость для бизнеса: информация снижает неопределенность в связи с решениями, имеющими экономические последствия; она влияет на поведение людей, и это также имеет экономические последствия; иногда информация сама обладает собственной рыночной стоимостью. Вероятность ошибиться и цена ошибки: ожидаемые потери от упущенных возможностей Более 50 лет назад в теории игр — области, понятной лишь посвященным, — была разработана такая формула стоимости информации, которую можно не только вывести математически, но и уяснить интуитивно. Снижение неопределенности (то есть проведение измерений) позволяет делать более удачные ставки (то есть принимать более обоснованные решения). Знать стоимость измерений необходимо, чтобы определить, как можно измерить что-либо и следует ли этим заниматься вообще. Чтобы не усложнять, рассмотрим бинарную ситуацию: вы либо преуспеете, либо провалитесь — вариантов больше нет. Предположим, что вы заработаете 40 млн. дол., если реклама сработает, и потеряете 5 млн. дол. (затраты на проведение кампании) в другом случае. Допустим также, что ваши калиброванные эксперты говорят, что существует вероятность провала рекламы 40%. Обладая этой информацией, вы можете составить таблицу 7.1. Таблица 7.1. Простейший пример расчета потерь от упущенных благоприятных возможностей Успех Провал Вероятность 60% 40% План проведения кампании одобрен 40 млн. дол. –5 млн. дол. План проведения кампании отвергнут 0 дол. 0 дол. Потери от упущенных благоприятных возможностей (opportunity loss, OL) — это просто те затраты, которые мы понесем, если выберем путь, который окажется ошибочным. Ожидаемые потери от упущенных возможностей (expected opportunity loss, EOL) для той или иной стратегии можно рассчитать путем умножения вероятности допустить ошибку на цену ошибки. В нашем примере мы получим такие ответы: OL (план проведения кампании одобрен) 5 млн. дол. OL (план проведения кампании отвергнут) 40 млн. дол. EOL (план проведения кампании одобрен) 5 млн. дол. * 40% = 2 млн. дол. EOL (план проведения кампании отвергнут) 40 млн. дол. * 60% = 24 млн. дол. Ожидаемые потери от упущенных благоприятных возможностей возникают из-за того, что вы не знаете, какова вероятность негативных последствий принимаемого решения. Сумей вы снизить данную неопределенность, уменьшится и EOL. Именно это и позволяет сделать измерение. Все измерения, результаты которых имеют некую стоимость, приводят к снижению неопределенности в отношении показателя, влияющего на решение, чреватое экономическими последствиями. Чем сильнее уменьшаются ожидаемые потери от упущенных благоприятных возможностей, тем больше стоимость информации, полученной путем измерения. Разница между значениями EOL до и после измерения называется ожидаемой стоимостью информации (expected value of information, EVI). Расчет ожидаемой стоимости информации, получаемой в ходе измерений, до их проведения требует от нас предварительной оценки ожидаемого снижения неопределенности. Иногда это бывает довольно трудно сделать из-за сложности определения некоторых переменных, но возможен и упрощенный подход. Легче всего рассчитать ожидаемую стоимость полной информации (expected value of perfect information, EVPI). Если бы существовала возможность полного устранения неопределенности, то значение EOL уменьшилось бы до нуля. Таким образом, EVPI — это просто EOL выбранного вами варианта. В нашем примере решение, принимаемое без осуществления измерений, заключается в одобрении плана проведения рекламной кампании, тогда ожидаемые потери от упущенных благоприятных возможностей составляют 2 млн. дол. Таким образом, стоимость устранения любой неопределенности относительно успешности планируемой акции просто равна 2 млн. дол. Если удается не устранить, а только уменьшить неопределенность, то ожидаемая стоимость информации несколько сокращается. Стоимость информации Ожидаемая стоимость информации (EVI) = Сокращение ожидаемых потерь от упущенных благоприятных возможностей (EOL): EVI = EOL (до измерений) – EOL (после измерений), где EOL — вероятность ошибиться, умноженная на цену ошибки. Ожидаемая стоимость полной информации (EVPI) = EOL до измерений (если информация точна и полна, то EOL после измерений равна 0). Стоимость информации для переменных величин Предположим, что в нашем примере с рекламой возможны не два исхода, а результат в виде интервала значений. Калиброванный маркетолог на 90% уверен, что эта рекламная кампания поможет увеличить продажи на 100 тыс. — 1 млн. единиц продукции. Однако чтобы достичь точки безубыточности нашей кампании, нужно продать некий объем продукции. Допустим, что с учетом затрат на проведение рекламной акции и валовой прибыли от продукта мы определили наступление точки безубыточности при реализации – 200 тыс. единиц товара. Продав меньше, мы понесем чистые убытки, причем чем меньше объем реализации, тем крупнее эти убытки. Продав ровно 200 тыс. единиц продукции, мы не получим ни прибыли, ни убытков. А если реализовать товар не удастся вообще, то мы потеряем деньги, израсходованные на рекламную кампанию, а именно 5 млн. дол. (вы можете сказать, что этим убытки фирмы не ограничатся, но для простоты будем учитывать только их). Другая точка зрения состоит в том, что на каждой не проданной нами единице продукции, которую надо реализовать для достижения безубыточности, мы потеряем 25 дол. Какова в этой ситуации стоимость снижения неопределенности результата кампании? Чтобы рассчитать EVPI для подобных интервалов значений, необходимо: разбить распределение значений на сотни или тысячи мелких сегментов; рассчитать потери от упущенных благоприятных возможностей для медианы каждого сегмента; рассчитать вероятность для каждого сегмента; умножить потери от упущенных возможностей в каждом сегменте на их вероятности; суммировать произведения, полученные на этапе 4 для всех сегментов. Лучше всего создать для этой цели макрос на базе Excel или написать программу, которая разбила бы распределение значений примерно на 1000 фрагментов, а затем выполнила требуемые расчеты. Так мы гарантированно рассмотрим все важные ситуации и исключения. Чтобы упростить задачу, я уже проделал за вас основную работу. Теперь все, что вам нужно, — это использовать пару следующих графиков и выполнить несколько несложных арифметических расчетов. Прежде чем приступить к делу, нужно решить, какую из границ 90-процентного доверительного интервала (верхнюю или нижнюю) считать лучшей (best bound, ВВ), а какую — худшей (worst bound, WB). Ясно, что иногда лучше самое большое число (если, например, речь идет о доходах), а порой — самое маленькое (если мы говорим о затратах). В примере с рекламной кампанией маленькое число — это плохо, то есть WB — 100 тыс., а ВВ — это 1 млн. единиц продукции. По этим данным мы рассчитаем показатель, который я называю «условным порогом» (relative threshold, RT); он указывает, где находится порог относительно остальных значений интервала. Графически RT представлен на рисунке 7.1. Рис. 7.1. Пример «условного порога» Мы используем условный порог для четырехэтапного расчета ожидаемой стоимости полной информации: рассчитаем условный порог: RT = (Порог – WB) / (ВВ – WB). Или (1 000 000 — 200 000) / (200 000 – 100 000) = 0,11; найдем местоположение RT на вертикальной оси рисунка 7.2; двигаясь вправо от значения RT, мы видим две серии кривых: одну (слева) для нормальных и другую (справа) для равномерных распределений. Поскольку в нашем примере распределение является нормальным, найдем точку пересечения кривой для нормальных распределений с прямой, проведенной через значение RT параллельно горизонтальной оси. Я назову эту величину фактором ожидаемых потерь от упущенной благоприятной возможности (expected opportunity loss factor, EOLF). В данном случае EOLF равняется 15; рассчитаем EVPI: EVP = EOLF / 1000 * OL на единицу продукции * (ВВ – WB). В нашем примере EVPI = 15/1000 * 25 * (1 000 000 –– 100 000) = 337 500 дол. Рис. 7.2. График фактора ожидаемых потерь от упущенной благоприятной возможности (EOLF) Расчет показывает, что максимально допустимые затраты на проведение измерения не должны превышать 337 500 дол. (это число определено исходя из предпосылки, что измерение полностью устранит неопределенность). Мир несовершенен: стоимость частичного снижения неопределенности В последнем примере с ожидаемой стоимостью полной информации мы оценили затраты на полное устранение неопределенности, а не ее снижение. Расчет EVPI полезен сам по себе, поскольку, по крайней мере, позволяет узнать потолок стоимости информации, который не должен быть превышен при осуществлении измерений. Однако нередко приходится довольствоваться простым снижением неопределенности, особенно когда речь идет о прогнозе, например, роста продаж в результате проведения рекламных кампаний. В таких случаях полезно знать не только максимальную сумму, которую можно израсходовать в идеальных условиях, но и во что обойдется измерение в реальной жизни (обязательно сопровождаемое реальной погрешностью). Иными словами, нам надо знать ожидаемую стоимость информации, а не ожидаемую стоимость полной информации. Для этого полезно мысленно представить себе, как выглядит график зависимости EVI от объема информации (рис. 7.3). Рис. 7.3. Кривая ожидаемой стоимости информации Инверсия измерений Стоимость информации о подавляющем большинстве переменных равна нулю, то есть существующий уровень неопределенности для них вполне приемлем и дальнейшие измерения были бы экономически нецелесообразными (рис. 7.4). Особенно высока стоимость информации о тех переменных, которые обычно не оцениваются. Стоимость информации о переменных, на определение которых обычно тратится больше всего времени и средств, очень невелика или просто равна нулю (то есть крайне маловероятно, чтобы их уточнение влияло на принимаемые решения). Рис. 7.4. Инверсия измерений Чему нас учит расчет стоимости информации Измерения — процесс итеративный. Самую ценную информацию мы получаем на начальном этапе измерений, поэтому разбейте весь процесс на несколько этапов и подведите итоги каждого из них. Стоимость информации имеет значение. Не определив заранее эту стоимость, вы, скорее всего, измерите не то и не так.

Похожие:

	Ларри Кинг Как разговаривать с кем угодно, когда угодно, где угодно Ни одна книга не выходит в свет благодаря усилиям одних только авторов. Мы брали интервью и писали текст, однако вклад других членов...		Программа по формированию навыков безопасного поведения на дорогах... В наш век высоких технологий программируется все что угодно, все покупается даже не выходя из дома по телефону, по интернету Можно...
	Реферат. «Роль библиотеки в современном мире» «кому угодно» и«в чем угодно», человеку в любом возрасте и в любом состоянии, здоровому и больному, свободному и заключенному, зрячему...		Программа по формированию навыков безопасного поведения на дорогах... Учитель просит измерить силу тока на лампе №2 и №3, измерить напряжение на источнике тока, на лампе №1
	Что такое деньги и как они возникли Итак, деньги пришли на смену натуральному обмену, когда люди просто обменивались между собой товарами. Деньги оказались очень удобной...		Как измерить информацию? Информативными сообщения являются тогда, когда они новы, понятны, своевременны, полезны. Но то, что для одного понятно, для другого...
	Программа по формированию навыков безопасного поведения на дорогах... Мы с вами говорили, что основным понятием в информатике является “информация”. А можно ли измерить количество информации и как это...		Уильям Тейлор. Радикально лучше: Как преобразовать компанию, совершить... ...
	Как инквизиция помогла науке вопросы, уводящие от стереотипов Все живое и неживое во Вселенной находится во власти Господа и принадлежит Ему. Поэтому каждый должен пользоваться только тем, что...		Анатолий Стреляный Плавающие дискурсы Можно говорить о чем угодно, даже о «суверенной демократии» в России, но желательно все договаривать до конца
	Портфолио «открытые образовательные технологии как стратегия организации... Психологи давно определили, что «инкубатором» самостоятельного мышления, познавательной активности ребёнка является не индивидуальная...		Реферат Тема «Личностно ориентированное обучение» Не учение, а Сизифов труд. Сегодня на одного ребенка приходится 20 предметников, и каждый в его голову качает свою информацию, полагая,...
	Измерения параметров транзисторов Как оценить качество транзистора? Какие параметры транзистора надо знать, чтобы предугадать его работу в приемнике, усилителе? Как...		Урок-путешествие в страну натуральных чисел Они пришли посмотреть, как вы чувствуете себя в новой школе. Несмотря на то, что они уже не учат вас, они все равно волнуются за...
	Учебник ия как жертва системы. О том, что «Во тьме учебник не создать,... Вы, конечно, узнали в эпиграфе строки из известной песни В. Высоцкого. Понимаю, что для серьёзной книги можно было бы найти что-либо...		План Введение. Как зарождалась культура Руси Письменность, грамотность, школы Летописи В понятие культуры входит, естественно, все, что создано умом, талантом, рукоделием народа, все, что выражает его духовную сущность,...