Письмо №71. Сигнал-шум-прогноз. Девять способов взглянуть на пять лет. Открыт блог.
Добрый день, команда, коллеги, друзья.
Сегодня в рассылке №71:
– отделить сигнал от шума, или уроки прогнозирования Nate Silver;
– девять способов, как заглянуть на пять лет вперед в бизнесе;
– сегодня без анализа новостей – время на пенсии и центробанки ушло на старт блога.
Данные письма рассылаются тем, кто со мной знаком в рамках работы Chief Strategy @ MMK, Investments Director @ SIBUR; Columbia Business School и McKinsey. Если вы получили данную рассылку через третьи руки, то напишите мне напрямую, я добавлю в постоянных адресатов. Блог наконец-то создан. Бета версия maxlapin.com. Подкачан архив за два месяца.
Первое. Практика профессионального предсказания Nate Silver.
В английском языке есть два термина – prediction и forecast. Как и в русском кальки с них – предсказание и прогноз. Они разные: предсказание – это «завтра в 10 утра в Сан-Франциско будет землетрясение в 7.2 балла», прогноз – это «в течение 10 лет в разломе Сан-Андреас с вероятностью 90% будет землетрясение порядка 7 баллов».
Люди хотят слышать предсказания. Специалисты могут давать только прогнозы.
Об этом книга Nate Silver ‘The Signal and the Noise’. Моя оценка 4/5. Книга с крайне позитивными отзывами и признана WSJ топ-книгой прошлого года.
Что в ней?
Предсказания практически всегда вызывают последствия в виде необходимости объяснять, почему они не сбылись. Пример катастрофически некачественных предсказаний – сделанных рейтинговыми агентствами по ипотечным бумагам США десять лет назад с ошибкой по уровню дефолтов в 200 раз. То есть для траншей ААА прогнозный уровень дефолтов 0.12%, а фактический оказался 28%. Соответственно, оправдание было в виде ссылки на внешний фактор «пузырь недвижимости». Последующий анализ показал, что модели рейтинговых агентств не различали терминов риска и неопределенности. Риск измерим и оценим. Неопределенность неизмерима и неоценима. Рейтинговые агентства использовали статистику предыдущих 10-20 лет, в которых не было примеров подобного пузыря. Поэтому их опыт оказался нерелевантным. Первый урок: в модели был заложен риск предыдущих периодов, но не была учтена неопределенность в виде катаклизма на рынке. Технический термин для этого – «выпадение из выборки». Жизненный пример для этого: если вы ездили 10 лет без аварий и совершили 20000 поездок, то, выпив однажды вечером в гостях, вы не можете полагаться на свой предыдущий опыт, считая, что «я опытный, я безопасно доеду до дома». Потому, что у вас нет соответствующей выборки. Автор каждый прогноз обкладывает доверительным диапазоном.
Далее, автор делает фундаментальное различие между психотипами людей, которые дают прогноз на будущее. Ежи дают четкое ясное резкое видение колючим безапелляционным тоном. «Завтра точно вулкан». Лисы дают диапазон с оговорками и вероятностями хитрыми формулировками. «В ближайшие десять лет есть серьезные шансы на извержение». Второй урок: ежи практически всегда ошибаются, те, кто из них попадают в реальность, попадают случайным образом и становятся звездой дня на телевидении. Лисы гораздо чаще оказываются ближе к истине, но их расплывчатость и скользкость делает их менее популярными. Автор свои прогнозы прошлых периодов забывает и начинает день с нового прогноза. Не якорит старым, так как новая информация отменяет старые данные.
Продолжая, книга показывает, что лисы ищут консенсуса и большинства, если их прогнозы выпадают из общего мнения, они делают перепроверки. Ежи смело идут в прессу со своим радикальным прогнозом. Третий урок: консенсус является способом проверки прогноза на реалистичность.
После этих трех вводных напутствий наступает практикум:
– в бейсболе богатая статистика по каждому игроку. Соответственно, есть множество моделей, которые пытаются предсказать, какой игрок станет профессиональной звездой. Модели сами по себе не работают, то есть работают, но не бьют качеством опытных скаутов (тех, кто ездит по стране и командам, смотрит на игроков и отбирает их в первую лигу). Почему? Потому что скауты имеют гораздо больше данных из живого наблюдения за игроками. Вывод: наличие инсайдерской информации невозможно побить моделированием.
– в погоде качество прогнозов уже крайне высокое. Их формулировки вероятностные: 10%, что будет дождь. Эти вероятности откалиброваны: действительно, в моделях уже подобраны параметры по прогноз-факту так, что 10% в ДОЛГОСРОЧНОМ периоде составляют 10%. Если модели первоисточников сделаны достоверно, то прогнозы по радио и телевидению используют завышенные вероятности, то есть уже недостоверные. Потому что публичный канал лучше перестрахуется и слушатели возьмут зонтики, чем получит претензии, что пошел дождь и промокли. Вывод: модель, прошедшая через третьи руки, становится недостоверной.
– в землетрясениях доказанная история ошибочных предсказаний. До сих пор нет надежных моделей, которые могли бы предупредить о землетрясении заранее. Даже самые сложные и насыщенные данными модели, проверенные на большом количестве прошлых периодов, являются недостоверными для будущих периодов. Здесь случается еще одна ловушка прогнозирования – «чрезмерная подгонка под результат». Слишком много вводных. Словами Фон Неймана – четырьмя переменными я объясню слона, а пятой заставлю его махать хоботом. Вывод: большое количество вводных означает модель, которая уже ничего не объясняет. Это ключевая ловушка Big Data – которая привела к разочарованию в этой концепции.
– в медицинских испытаниях до двух третей исследований являются невоспроизводимыми. То есть если их повторить, то результаты расходятся. Причины две: публикуются только успешные исследования, среди успешных есть ложноположительные. Пример из жизни: ложноположительный тест на болезнь. Если тесты сдают все поголовно, а болезнь редкая, то количество ложных диагнозов может превысить достоверные. Вывод: Big Data приводит к большому количеству ложных прогнозов, так как среди тысяч статистик можно найти много корреляций, но не факт, что это есть реальные зависимости.
– в фондовом рынке есть теорема, что «никто не может побить рынок». Приведен пример эволюции формулировок, которая является по Nate Silver образцом аккуратных «лисьих» высказываний:
- «никто не может побить рынок»;
- «никто не может побить рынок в долгосрочном периоде»;
- «никто не может побить рынок в долгосрочном периоде соответственно своему уровню риска»;
- «никто не может побить рынок в долгосрочном периоде соответственно своему уровню риска с учетом транзакционных издержек»;
- «никто не может побить рынок в долгосрочном периоде соответственно своему уровню риска с учетом транзакционных издержек, с учетом инсайдерской информации»;
- «мало кто может побить рынок в долгосрочном периоде соответственно своему уровню риска с учетом транзакционных издержек, с учетом инсайдерской информации»;
- «трудно сказать, сколько инвесторов могут побить рынок в долгосрочном периоде соответственно своему уровню риска с учетом транзакционных издержек с учетом инсайдерской информации, поэтому лучше всего инвестировать в индексный фонд».
Подводя итог: прогнозы не точкой, а интервалом, очень взвешенно и без сенсаций, в рамках консенсуса.
Практический вывод: не спрашивайте со своих маркетологов прогноз-факт цен, нет смысла в план-факте прогнозов банков, нет смысла в план-факте прогнозов ЦБ и МинФина.
Второе. Пять лет вперед для бизнеса.
За прошедшую неделю с CЕO, двумя СFO и стратмаркетологом четырех разных крупнейших российских компаний в своих сегментах в отдельных встречах затронули общую тему – как вообще можно прогнозировать будущее прагматичным образом? Прагматичным: сколько чего продать с какой ценой и прибылью в горизонте пять лет.
В случае с розницей-услугами b2c ключевая проблема в том, что горизонт прогнозирования очень-очень-очень короткий. Это объясняется тем, что:
- Открытие нового магазина может быть сделано в пределах полугода.
- Выигрышные форматы продаж постоянно меняются.
- Стратегия исторически строилась «по-обстоятельствам», то есть оппортунистически.
В случае с индустрией b2b классический вопрос непредсказуемости будущего связан с:
- Непрозрачными трендами будущего потребления у клиентов («Что им надо?»).
- Появлением товаров/услуг/каналов-заменителей.
- Исторической ориентацией на объем (любимую тему прошлых писем «импортозамещение» как важный фактор прибыли).
В случае с тяжелой индустрией b2b вопросы непрозрачности сложившейся ситуации:
- Клиенты брали объемы, а теперь не берут и непонятно, что случилось.
- Как вообще строить функцию прогнозирования в кризис.
- Какие дополнительные источники информации использовать.
В итоге, горизонт видимости будущего для компаний строится по тренду прошлых лет («ну еще 15% вырастем») тривиальным подходом в экселе протянуть еще несколько ячеек. Потом выясняется, что объемный фактор с остановкой роста экономики перестал работать, и ячейки в экселе больше не прилично протягивать вправо. Как выходить из данной ловушки?
Какой портфель инструментов прогнозирования мне доводилось использовать в практике, и что из этого вышло.
- Трендовый, или копируем ячейки вправо.
- Клиентский/продуктовый, или сколько им надо.
- Мегатрендовый, или будет ли это кому в принципе будет надо.
Дальше я буду приводить примеры по продажам, так как все остальное зависит от них.
Иллюстрация трендового способа в трех уровнях от примитивного к продвинутому:
- Примитивно копируем темпы роста прошлых лет еще на год-два вперед. У меня работало для прогноза продаж по месяцам с сезонностью на год вперед на растущем рынке. Сейчас метод можно использовать только как один из сценариев, потому что неустранимые погрешности прогноза превысили темпы изменений за год. Зато материалы к совету директоров при изменениях пересчитываются за час.
- Обычно завязываем темпы роста продаж на статистику прогнозов роста ВВП или на цену нефти/курс рубля. Как пример, смотрим, с каким коэффициентом к росту ВВП/нефти растет сегмент продаж. Например строительство растет быстрее ВВП, но и падает быстрее ВВП. В итоге, собрав портфель прогнозов от МинФина, банков и агентств, умножив на коэффициенты, получаем разброс прогнозов. Метод работает лучше примитивного, так как учитывает приливы-отливы уровня самой экономики в целом. К тому же он прост в реализации. Материалы к совету директоров при изменениях уже переделываются за день и за ночь.
- Продвинуто используем бенчмаркинг с другими рынками по уровню проникновения товара (во сколько раз отстаем от Восточной Европы, Западной Европы, США), смотрим рост в моменте и беседуем с экспертами, куда же все движется. Пример: отрыв от ВЕ в два раза, от ЗЕ в три раза, от США в четыре раза (или 5-10-15 лет соответственно). Далее, экстраполируем текущие тренды сокращения разрыва 5-10-15% роста и отсекаем на здравый смысл. Материалы к совету директоров успеть переделать не получится. Только ждать следующего.
Ключевое достоинство трендового подхода – что можно сделать силами централизованного стратцентра в два-пять человек для компании любого размера.
Основная проблема трендового подхода – слепость и следующая из нее ложность выводов. Примеры неотвечаемого вопроса: «Почему у клиента объемы стройки не изменились, а у нас продажи стройматериалов упали в разы?».
Иллюстрации трех уровней клиентско-продуктового подхода от базового к «знай клиента».
- Базово мы использовали опубликованные / оценочные планы развития своих клиентов для понимания продаж им. Пример: объемы их инвестиций, объемы их строительства, объемы их прогнозов на конференциях, в отчетности, в журналах. Метод настолько надежен, насколько можно верить клиентам в их прогнозах. Если у них прогнозы трендовые, то и у нас степень надежности данных растет незначительно. Зато делается аналитиком-интровертом в вашей команде и материалы к совету директоров можно поменять за сутки.
- Обычно мы старались найти драйверы спроса у клиента, чтобы вместо его прогнозов построить свои варианты. Пример: переключится ли экспортный-импортный паритет, может ли в этом регионе клиент привести не от нас с учетом тарифов, какие конкуренты есть у самого клиента, чтобы поправить объемы продаж на вероятность. Такой подход требует постоянной работы аналитика с контактами и любопытного въедливого менеджера, которому этот подход интересен. Корректировки к совету директоров делаются уже за неделю.
- «Знай клиента» не работает в рамках централизованной функции. Точка. Это вариант прогнозирования существует, когда не только сам менеджер по продуктовой линейке делает стратегию, но и мотивированно делает это исходя из того, насколько хорошо он знает сегмент. Ловушка этого прогноза, что продуктовые стратегии в централизованном подразделении не сделаешь. Без мотивации вертикали продаж на долгосрочную прибыль продуктовая стратегия окажется пылящимся документом на полке. Продуктовая стратегия от принципа «знай клиента» делается только при заинтересованности в ней тех, кто будет ее выполнять. Системы CRM – являются только инструментом данных и поддержки гипотез, они сами по себе стратегии по продуктам не обеспечат.
Ключевое достоинство клиентско-продуктового подхода: обоснованная-понятная гранулярность по портфелю продаж. Возникает комфорт, что цифры «понятны». Почему столько? – уже имеет достойный ответ.
Ключевая ловушка клиентского-продуктового подхода: нужно терпение, так как без накопленного опыта и вовлечения функции продаж вопросы не имеют ответов. Если в трендовом подходе можно аналитиков/руководителя поменять на нового и через месяц все снова работает (проверял сам), то потеря кадров в продуктово-клиентском варианте означает безусловную годовую дыру в компетенциях. А обстоятельства, СЕО и акционеры обычно не терпят.
Иллюстрация мегатрендового (фундаментальных изменений в мире, о которых были два письма в августе и в сентябре) подхода в трех уровнях от микро- к макро-:
- На микроуровне мы ловим очевидные и применимые для бизнеса напрямую мегатренды – замена металлов пластиками, уход продаж в интернет, кастомизация заказов с постоянными изменениями в производстве, консолидация игроков отрасли. Эти мегатренды здесь и сейчас, они очевидны. Их можно использовать. По ним есть глубокие исследования. Например, пределы алюминизации/ пластиковизации/ карбонизации автомобилей уже просчитаны для ближайшего поколения автомобилей. Такие мегатренды вполне улавливаются на уровне централизованного подразделения по моделированию и планированию, и встраиваются в трендовый/продуктовый подходы выше. Публикаций и конференций как информационных источников хватает.
- На среднем уровне мы можем управлять изменениями стандартов, отраслевого регулирования, применением доступных на рынке технологий. Для их использования нужны инвестиции и GR, без этих функциональных вертикалей в корпорации данные мегатренды не будут использованы.
- На макроуровне мы получаем надотраслевые тренды, которые аналитики часто не ловят. Это экологизация. Это «непонятная» big data. Это 3D печать. Это Элон Маск с его полетом на Марс, гиперлупом и Теслой. Это национализация центробанками. Эти макро-мегатренды могут быть озвучены на любом уровне, но без решения СЕО по ним хода не будет, так как прозвучит вердикт «в облаках витаете – делом надо заниматься». Но как раз в макро-мегатрендах и появляется жизненный риск для компании. Иллюстрация раз: смерть Blackberry и Nokia. Иллюстрация два: будущая смерть такси как есть сейчас. Иллюстрация три: сахар – новый жир. Иллюстрация четыре: прямые продажи вместо салонов.
Ключевая ловушка мегатрендового подхода: тем, что им надо заниматься, отсеивая 90% информации как нерелевантной. Дальше включается механизм корпоративных решений: у них 90% идей идут в шредер, зачем нам их слушать?
Ключевое преимущество мегатрендового подхода: кто поймал новую волну – тот обогнал конкурентов надолго. Как Tenaris, продающий не трубы, а сервис. Как GoogleAds, продающий не место под рекламу, а релевантное знание о пользователе. Как Apple, убивший количество SKUs до минимума. Как Amazon, у которого нет магазинов, а только склады + логистика + окно в голову и кошелек потребителя.
Итоговые выводы:
– централизованной функции планирования, прогнозирования и стратегии в виде команды аналитиков хватит только на трендовый подход, часть продуктового/клиентского и часть мегатрендового;
– если функция стратегов имеет партнеров в виде функции продаж, с мотивацией на будущий PnL по линейкам продуктов, то в полную силу заработает продуктовый/клиентский подход;
– если вопросы мегатрендов поддерживаются СЕО в рамках анализа/ дискуссий/ поручений к исполнению, то компания сможет их не пропустить.
Мы подошли к трем стратегическим темам (не сугубо операционным по резке затрат и выживанию в кризис , что тоже важно), которые попадут в следующие письма, которые войдут в повестку СЕО на ближайшие пять лет в России:
– декоммодитизация, или каждому клиенту его товар;
– операционализация стратегии, или как пятилетние задачи раздать по подчинению;
– делегирование полномочий, или взросление компаний.
Итого, реестр книг за 2016 год:
- Sarah Knight ‘The Life Changing Magic of Not Giving a F’ 5/5
- Paolo Coelho ‘El Demonio y Señorita Prym’ 3/5
- Donald Trump ‘Crippled America’ 4/5
- Paolo Coelho ‘Once Minutos’ 2/5
- Alan Greenberg ‘Memos from the Chairman’ 5/5
- Stephen Hawking and Leonard Mlodinow ‘The Grand Design’ 4/5
- BCG. ‘Steel’s contribution to a Low Carbon Europe’ 2050 5/5
- Patrick Lencioni ‘The Five Disfunctions of a Team’ 5/5
- Михаил Зыгарь «Вся кремлевская рать» 5/5
- Ася Казанцева «В интернете кто-то неправ» 4/5
- Randall Munroe ‘What If?’5/5
- John Kounios, Mark Beeman ‘The Eureka Factor’ 3/5
- Malcolm Gladwell ‘Outliers’ 5/5
- Paolo Coelho ‘Adulterio’ 2/5
- George W Bush ‘Decision Points’ 5/5
- Уголовное право. Общая часть 3/5
- Kevin Kelly ‘The Inevitable’ 5+/5
- Andrew Bielat ‘Profit Hawks’ 1/5
- Jordan Ellenberg ‘How Not to Be Wrong’ 4/5
- Brian Christian & Tom Griffiths ‘Algorithms to Live By’ 4/5
- Natasha Stout ‘The Sociopath Next Door’ 5/5
- David Hunt ‘The Improbability Principle’ 4/5
- Кирилл Голубков ‘Потерянный рай’ 5/5
- Joseph Burgo ‘The Narcissist You Know’ 4/5
- Jack Welch ‘Winning’ 5/5
- David Wessel ‘In Fed We Trust’ 4/5
- Roubini, Mihn ´Crisis Economics´ 5/5
- Diego Enrique Osorno ‘El Mexicano Más Rico Del Mundo’ 4/5
- Harry Harrison ‘Father to Son’ 5/5
- Harry Harrison ‘Father to Daughter’ 5/5
- Soros ´New Paradigm for Financial Markets´ 3/5
- Galifianakis ‘If You Loved Me’ 5/5
- ‘Черчилль. Величайший из британцев’ 3/5
- Klaus Schwab ‘The Fourth Industrial Revolution’ 3/5
- Liker Hoseus ‘Toyota Culture’. 6/5 в порядке исключения
- Shull ‘Market Mind Games’ 2/5
- Russ Koesterich ‘The Ten Trillion Dollar Gamble’ 3/5
- Arthur C Clarke ‘The City and the Stars’ 5/5
- Carmine Gallo ‘Talk Like TED’ 4/5
- Nate Silver ‘The Signal and the Noise’ 4/5
4 comments