Лидген · 8 мин чтения

«Что измеряется, тем управляют»: чья это фраза и что в ней обрезали

Самые известные фразы о метриках ходят с чужими подписями, а первую ещё и обрезали. Целиком она предупреждает, что измерение может вредить цели. Для ИИ-квалификатора заявок отсюда следует правило: метрику пилота ставят ниже по воронке, чем то, что выдаёт сама система.

Круглый прибор-спидометр со стрелкой, упёртой в максимум, а под ним колесо, которое крутится в воздухе и не касается земли

Фраза, которую приписывают Друкеру

«Что измеряется, тем управляют» обычно подписывают именем Питера Друкера. Дэнни Бюркли в разборе 2019 года пишет, что Друкер этого не говорил, и ссылается на Институт Друкера. Мы открыли статью института, на которую он ссылается. Она про другую фразу — «если нельзя измерить, нельзя управлять», о ней ниже. Перечитать все тексты Друкера и доказать, что первой фразы там нет, мы не можем. Зато можно показать, откуда взялась её полная версия.

Короткую формулу цитируют как совет: начните считать, и управление появится. У полной версии смысл другой. В феврале 2008 года Саймон Колкин, редактор раздела менеджмента The Observer, посвятил ей колонку. Он не спорит, что фраза верна. Он пишет, что её понимают неправильно, и приводит целиком: что измеряется, тем управляют, «даже когда измерять и управлять этим бессмысленно и даже если это вредит цели организации» (здесь и дальше перевод наш). Имя Друкера в колонке не упоминается.

Колкин ссылается на работу 1956 года. В. Ф. Риджуэй опубликовал тогда в Administrative Science Quarterly статью «Dysfunctional Consequences of Performance Measurements». По словам Колкина, Риджуэй описал, чем оборачивается привычка менеджеров сводить к числам как можно больше своих забот.

Пример в колонке близок к продажам. Колл-центр считает звонки, их длительность и стоимость, и цифры могут лежать у руководителя на столе в тот же вечер. Но они описывают объём активности. Выполняет ли колл-центр свою задачу, из них не видно: низкая цена звонка ничего не значит, если большая часть работы — разбор жалоб на плохой сервис.

1956
Риджуэй пишет о вредных последствиях измерения результатов
1997
Стратерн даёт «закону Гудхарта» формулировку, которую цитируют до сих пор
31 год
прошёл после смерти Эйнштейна до самого раннего найденного случая, когда ему приписали фразу про «не всё, что можно посчитать»

Закон Гудхарта сформулировал не Гудхарт

Вторая фраза: «когда показатель становится целью, он перестаёт быть хорошим показателем». Её называют законом Гудхарта.

Чарльз Гудхарт — экономист. В 1975 году он писал о денежно-кредитном управлении в Великобритании, в сборнике Резервного банка Австралии. Его формулировка суше: «любая наблюдаемая статистическая закономерность склонна разрушаться, как только на неё начинают давить в целях управления». Текст мы приводим по статье в Journal of Graduate Medical Education 2021 года, которая цитирует этот сборник.

Известную формулировку написала Мэрилин Стратерн в 1997 году, в статье об аудите в британских университетах (European Review, том 5, с. 308). Через предложение она оговаривается: Кит Хоскин называет это законом Гудхарта, по наблюдению Гудхарта об инструментах денежного контроля.

Разница между версиями не в стиле. Гудхарт говорит о статистической закономерности, которая держалась, пока на неё никто не опирался. Как только её делают рычагом управления, она расползается. Стратерн пересказала это как правило о целях и показателях. В таком виде его удобно повесить на слайд и легко забыть, откуда оно взялось.

Деминг говорил обратное

«Если нельзя измерить, нельзя управлять» приписывают то Друкеру, то Эдвардсу Демингу. Про Друкера ответил институт его имени. В 2013 году на сайте Института Друкера вышла статья нейроэкономиста Пола Зака. Зак пишет, что Друкер этого не говорил, а на ошибку ему указал сотрудник института. Сейчас статья открывается только в веб-архиве. Деминг в книге The New Economics пишет противоположное: «ошибочно полагать, что если что-то нельзя измерить, этим нельзя управлять, — это дорогостоящий миф». Цитату приводит Институт Деминга.

Рядом ходит ещё одна фраза с подписью Деминга: «каждая система идеально спроектирована, чтобы получать те результаты, которые она получает». В материале Института улучшения здравоохранения (IHI) 2015 года Эрл Конуэй и Пол Баталден рассказывают, откуда она. Исходная версия принадлежит Артуру Джонсу из Procter & Gamble, и говорилось в ней об организациях. Баталден заменил «организации» на «систему», и в таком виде фраза разошлась.

Из всех разобранных фраз эта самая практичная. Если квалификатор приносит мусорные лиды, он, скорее всего, не сломан. Он настроен так, что приносит мусорные лиды.

Не всё, что можно посчитать, имеет значение

«Не всё, что можно посчитать, имеет значение, и не всё, что имеет значение, можно посчитать» — это обычно приписывают Эйнштейну. Quote Investigator нашёл полную формулировку в учебнике социолога Уильяма Брюса Кэмерона Informal Sociology 1963 года. Первую половину Кэмерон написал ещё в статье 1957 года.

Самая ранняя связь фразы с Эйнштейном, которую нашёл Quote Investigator, относится к 1986 году. В бизнес-книге того года сказано, будто Эйнштейн написал её мелом на доске в своём кабинете в Принстоне. Доказательств в книге нет, а Эйнштейн к тому моменту 31 год как умер.

Для воронки продаж здесь полезна вторая половина. Число входящих сообщений считается легко. Готовность человека купить в этом месяце — плохо. Система, которую оценивают только по первому, со временем перестаёт замечать второе.

Как метрика портит ИИ-квалификатор заявок

Радар — наш продукт: он собирает публичные запросы и квалифицирует их с помощью ИИ. Любой квалификатор превращает поток сообщений в число, и у этого числа сразу появляется шанс стать целью.

Представим, что успех пилота записан как «число квалифицированных лидов в неделю». Модель от этого не меняется. Меняются люди, которые её настраивают. Порог отсечки опускают на пару баллов. В признаки добавляют «интересуется». В инструкцию модели дописывают «при сомнении считать лидом». Каждая правка по отдельности выглядит разумно. Число растёт, а встреч от этого не обязательно становится больше.

С ботом, который отвечает клиентам, происходит то же самое. Если мерить долю сообщений, получивших ответ, выгоднее всего отвечать на всё подряд: на спам, на «спасибо», на сообщение, которое писали другому человеку. Доля подходит к 100%, клиентов больше не становится.

Это наблюдение Гудхарта в прикладном виде. В статье о холодных рассылках в ОАЭ мы публиковали порог отсечки в 25 баллов, проверенный на контрольной выборке. Связь «балл выше порога — похоже на покупателя» держится, пока порог служит прибором. Когда за число лидов начинают отчитываться, эта связь больше ничем не защищена.

Есть и второй расход. Герберт Саймон в докладе 1971 года писал, что информация «потребляет внимание получателей. Поэтому богатство информации порождает бедность внимания». Квалификатор нужен, чтобы сберечь час менеджера. Раздутый список лидов этот час съедает. Выходит ровно то, о чём писал Колкин: измерение работает против цели.

Какую метрику пилота записывать до старта

Пилот у нас длится две недели, метрика успеха записывается до старта. Для квалификатора заявок из всего сказанного следует несколько правил.

Метрика стоит ниже по воронке, чем то, что делает система. Квалификатор выдаёт лиды, значит, мерить надо встречи, которые состоялись. За две недели встреч может набраться мало. Тогда честнее записать ближайший шаг, который делает уже клиент: ответил менеджеру, согласился на встречу. И там же записать дату, когда проверим, состоялась ли она.

Метрики ставятся парами, чтобы одна мешала накручивать другую:

  • число лидов в день — рядом с долей тех, кого менеджер после проверки признал настоящими;
  • доля сообщений с ответом — рядом с долей диалогов, где клиент написал ещё раз;
  • скорость первого ответа — рядом с долей ответов, которые менеджеру не пришлось переписывать;
  • число назначенных встреч — рядом с долей встреч, которые состоялись.

Поднять одно число, уронив парное, незаметно не получится. Так же, парами, мы ставим метрики в автоматизации продаж: там шесть показателей воронки, и каждый сначала замеряем «до».

Раз в неделю кто-то читает выборку глазами. Не только принятые заявки, но и отброшенные — на них никто не жалуется, поэтому ошибки там живут дольше. В статье про ОАЭ мы описывали ошибку скоринга, из-за которой половина лидов, которые движок должен был найти, тихо не попадала в дайджест. Нашли её до первого боевого прогона, а без разбора конкретных отброшенных сообщений она выглядела бы как «мало лидов на рынке».

И последнее, по Демингу: то, что плохо считается, из пилота не выбрасывают. Качество разговора числом не описать, зато его можно прочитать. Ручная выборка для этого и нужна.

Чего мы не знаем

Колонку Колкина мы открыли и сверили в сентябре 2026 года. Статью Института Друкера 2013 года читали в копии веб-архива: старый адрес теперь перенаправляет на druckerplus.org. Эта статья снимает с Друкера фразу «если нельзя измерить, нельзя управлять». О фразе «что измеряется, тем управляют» в ней ничего нет, и источника, где институт снимает с Друкера и её, мы не нашли. Здесь мы опираемся только на Бюркли. Кто первым приписал эту фразу Друкеру, мы не знаем. Работу Риджуэя 1956 года целиком не читали и знаем её по пересказам.

Первоисточник Гудхарта 1975 года мы не открывали, его формулировка взята из статьи 2021 года. Номер страницы у цитаты Деминга с книгой не сверяли. 1986 год — самая ранняя связь фразы с Эйнштейном, которую нашёл Quote Investigator. Более ранняя может найтись.

Замеров эффекта Гудхарта на собственном скоринге у нас нет. Правила выше описывают, как мы устраиваем пилот. Как они сказываются на продажах, мы пока не измеряли.

Если хотите посмотреть, что в вашей воронке считается и что из этого легко накрутить, опишите один процесс в квизе на главной. Разбор пришлём в течение 48 часов, созваниваться для этого не нужно.

Читать дальше

Стопка листов таблицы с сеткой, рядом воронка, из которой стрелка ведёт к телефону; на экране оранжевое облачко сообщения с пятью строками, рядом с телефоном часы, стрелки показывают восемь
Автоматизация · 13 мин чтения

Автоматизация отчётов: как перестать собирать сводку руками в Excel

Как автоматизировать отчёты и не ускорить ошибку: оставить 3–5 чисел, у которых есть хозяин, закрыть молчаливые пределы вроде XLS и выбрать один из четырёх уровней — Power Query в Excel, Google Таблицы с Apps Script, сводку в Telegram по расписанию или BI. Где в отчётах нужен ИИ, макет сводки на пять строк и чек-лист.

Извилистая протоптанная тропа через поле; маленький оранжево-красный каток кладёт асфальт по всем её петлям, хотя рядом видно прямое направление
Автоматизация · 7 мин чтения

«Не автоматизируйте — уничтожайте»: что Хаммер написал в HBR в 1990 году

В 1990 году Майкл Хаммер объяснил, почему компьютеры разочаровали бизнес: ими ускоряли старые процессы. Правило Гейтса, фраза Друкера и пять вопросов к каждому шагу до автоматизации.

Покажите свой процесс — верну карту автоматизации за 48 часов

Шесть вопросов о том, как у вас всё устроено сейчас. На выходе — схема, что можно снять с людей, в каком порядке и сколько это стоит.

Пройти квиз · 6 вопросов Написать в Telegram Бесплатно · без созвона на входе