Иногда в компаниях разделяют подходы: для таких решений мы используем data-informed, а в этих вопросах руководствуемся только цифрами (data-driven). В других случаях организации выступают приверженцами только одного из подходов и вся культура принятия решений ему подчиняется. Порой это может давать крутые результаты здесь и сейчас, но негативно влиять на долгосрочное развитие.
Пример № 1
Представим, что вы запускаете новостной портал. И вам нужно решить, какие у текстов будут заголовки. Ведь именно они влияют на то, прочитают новость люди или пройдут мимо. Конечно, вы сразу заметили, что чем больше заголовок интригует, шокирует, завлекает, тем чаще на него кликают.
И вот вы выбираете подход data-driven. Видите, что от кликабельных заголовков растут посещения (самый важный показатель для новостного портала). Вы запускает на портале рекламу и начинаете зарабатывать. Доходы растут! Ключевые метрики растут! Оставляем такие заголовки. И пусть они далеко не всегда соответствуют новости.
А теперь посмотрим, что будет, если выбрать подход data-informed. Заголовки оставляем те же. И видим, что на фоне роста ключевых показателей вырос отказ пользователей. Они открывают, новость, не дочитывают и уходят. Кажется, все уже не так здорово. И тут мы начинаем думать, подключать свой опыт, консультируемся у специалистов. Понимаем, что кликабельные заголовки плохо влияют на репутацию новостного портала и мы медленно, но верно скатываемся к «желтому» СМИ. Начинаем думать, как избавиться от завлекающих заголовков, но вызывать любопытство пользователей? Включаем этот пункт в стратегию контента. Начинаем искать темы, которые интересны нашей аудитории и раскрывать их глубже, находим необычные факты. Мы начинаем давать своим пользователям ценность. Портал получает хорошие отзывы, у него отличная репутация, ваши новости цитируют, репостят в соцсетях.
На этом примере мы видим, что слепо доверять данным и цифрам не всегда правильно. Иногда в статистике могут быть «слепые зоны». Если не включить здравый смысл, то они могут привести к серьезным проблемам в будущем.
Пример № 2
Представим, что вы разрабатываете мобильные игры. Однажды ваш аналитик заметил, что пользователи, которые получают push–уведомления активнее ведут себя в приложении. Растет возвращаемость, длительность сессии.
Вы руководствуетесь подходом data-driven и начинаете отправлять уведомления всем пользователям игры и в больших количествах. Вы шлете им «пуши» о новых уровнях, которые можно купить, о том, что их друг прошел новых уровень и надо бы за ним угнаться, об акциях и скидках, и еще много–много всего. Пользователи сначала все это читают, но потом этот инфо–шум начинает раздражать. Они уже не спешат открывать игру, после каждого уведомления. Начинают игнорировать «пуши», а после и вовсе отключают. Если вы и хотели напомнить им о чем–то важном, то они это пропустили за чередой других уведомлений.
Теперь представим, что вы используете подход data-informed. Аналитик пришел к вам с такой же информацией о push–уведомлениях и активности. Но в этот раз вместе с командой вы начинаете анализировать, что за этим данными стоит. Понимаете, что пользователи видят ценность в информации, которую содержат «пуши». И ваша задача выяснить, какие уведомления людям нравится, почему это происходит. Так вы сможете увеличить ценность приложения, отправлять только те уведомления, которые пользователям реально интересны.
Пример № 3
Вы создали мобильную игру. Особенно пристально следите за метриками ежедневной и ежемесячной активности и удержания пользователей. Вы создали новую функцию. Получили отзывы, что из–за нее стало сложнее проходить уровни. Но решили, что надо провести A / B тест. Он не показал, что новая функция как–то негативно повлияла на приложение. Все вроде бы хорошо и вы запускаете новую функцию на всех пользователей.
Через какое–то время вы замечаете, что все меньше людей стало доходить до сложных уровней. Однако показатели DAU (показывает число уникальных пользователей приложения в день) и MAU (число уникальных пользователей в месяц) держатся на прежнем уровне. Что же происходит?
Дело в том, что пользователям стало сложнее играть в вашу игру, но они все еще пытаются. Однако вскоре им это надоест, и вы увидите, как это повлияет на DAU и MAU. Спойлер: не в лучшую сторону. Метрики пойдут вниз, это означает, что люди стали уходить из игры и больше не возвращаются в нее. Остановить этот процесс будет уже слишком поздно.
Сплит–тестом вы измеряли данные, которые не точно фиксируют поведение пользователей. DAU и MAU были отстающими индикаторами. Измерять же надо было уровни, достигнутые пользователями. Понять это помог бы подход data-informed.