Понимание подхода Data-informed: как он работает, примеры применения и сравнение с другими методиками. Эффективное использование данных в принятии решений.

При подходе data-informed цифры не главное. На основе экспериментов, гипотез и полученных данных, вы принимаете решение: использовать только данные или включить и другие факторы.

Когда мы работаем с долгосрочными метриками. При оценке нового продукта или функционала. При построении дорожной карты и определении стратегии развития.

Data-driven — это противоположный подход, в котором цифры и данные ставят во главу угла. То есть все решения по продукту принимают, опираясь на аналитику. А не на интуицию, консультации или личный опыт.

При подходе data-informed (его еще называют принцип информированности данными) цифры не главное. Продуктовым метрикам, цифрам и аналитике в нем не отводят главную роль. На них ориентируются только частично, а решение принимают на основе других данных.

Какие это могут быть данные?

• Опыт и консультации специалистов

• Качественные исследования (живые интервью и опросы).

• Выводы из общения с пользователями

• Интересы бизнеса

• Стратегические цели компании.

Проще говоря, вы проводите эксперименты, тестируете гипотезы, получаете данные. И тут наступает момент, когда вы должны решить: доверять только данным или посмотреть еще и на другие факторы.

Data-informed говорит о том, что данные — это всего лишь инструмент. Мы их, конечно, учитываем. Но ориентируемся на цели, а не на цифры. Когда это работает?

• Когда мы работаем с долгосрочными метриками. Например, когда нам нужно протестировать гипотезу о влиянии новой функции на показатели оттока пользователей или их возвращаемость.

• При оценке нового продукта. Потому что у вас еще слишком мало данных аналитики или их вовсе нет. Следовательно, вы в большей степени полагаетесь на опыт и специалистов своей команды.

• При оценке новой версии продукта или нового функционала для другой целевой аудитории.

• Для постановки правильных квартальных и годовых целей, направленных на увеличение количества активных пользователей и денег, которые они приносят. Потому что этот процесс можно автоматизировать только частично.

• При построении дорожной карты продукта. Потому что этот процесс не поддается количественной оценке. Хороший roadmap должен учитывать актуальные цели компании и то, как их можно достичь, работу команды разработчиков продукта и их оценку.

• При определении стратегии развития продукта. Тут тоже важен опыт и экспертный взгляд.

Data-driven — это противоположный подход, в котором цифры и данные ставят во главу угла. То есть все решения по продукта принимают, опираясь на аналитику. А не на интуицию, консультации или личный опыт.

Иногда в компаниях разделяют подходы: для таких решений мы используем data-informed, а в этих вопросах руководствуемся только цифрами (data-driven). В других случаях организации выступают приверженцами только одного из подходов и вся культура принятия решений ему подчиняется. Порой это может давать крутые результаты здесь и сейчас, но негативно влиять на долгосрочное развитие.

Пример № 1

Представим, что вы запускаете новостной портал. И вам нужно решить, какие у текстов будут заголовки. Ведь именно они влияют на то, прочитают новость люди или пройдут мимо. Конечно, вы сразу заметили, что чем больше заголовок интригует, шокирует, завлекает, тем чаще на него кликают.

И вот вы выбираете подход data-driven. Видите, что от кликабельных заголовков растут посещения (самый важный показатель для новостного портала). Вы запускает на портале рекламу и начинаете зарабатывать. Доходы растут! Ключевые метрики растут! Оставляем такие заголовки. И пусть они далеко не всегда соответствуют новости.

А теперь посмотрим, что будет, если выбрать подход data-informed. Заголовки оставляем те же. И видим, что на фоне роста ключевых показателей вырос отказ пользователей. Они открывают, новость, не дочитывают и уходят. Кажется, все уже не так здорово. И тут мы начинаем думать, подключать свой опыт, консультируемся у специалистов. Понимаем, что кликабельные заголовки плохо влияют на репутацию новостного портала и мы медленно, но верно скатываемся к «желтому» СМИ. Начинаем думать, как избавиться от завлекающих заголовков, но вызывать любопытство пользователей? Включаем этот пункт в стратегию контента. Начинаем искать темы, которые интересны нашей аудитории и раскрывать их глубже, находим необычные факты. Мы начинаем давать своим пользователям ценность. Портал получает хорошие отзывы, у него отличная репутация, ваши новости цитируют, репостят в соцсетях.

На этом примере мы видим, что слепо доверять данным и цифрам не всегда правильно. Иногда в статистике могут быть «слепые зоны». Если не включить здравый смысл, то они могут привести к серьезным проблемам в будущем.

Пример № 2

Представим, что вы разрабатываете мобильные игры. Однажды ваш аналитик заметил, что пользователи, которые получают push–уведомления активнее ведут себя в приложении. Растет возвращаемость, длительность сессии.

Вы руководствуетесь подходом data-driven и начинаете отправлять уведомления всем пользователям игры и в больших количествах. Вы шлете им «пуши» о новых уровнях, которые можно купить, о том, что их друг прошел новых уровень и надо бы за ним угнаться, об акциях и скидках, и еще много–много всего. Пользователи сначала все это читают, но потом этот инфо–шум начинает раздражать. Они уже не спешат открывать игру, после каждого уведомления. Начинают игнорировать «пуши», а после и вовсе отключают. Если вы и хотели напомнить им о чем–то важном, то они это пропустили за чередой других уведомлений.

Теперь представим, что вы используете подход data-informed. Аналитик пришел к вам с такой же информацией о push–уведомлениях и активности. Но в этот раз вместе с командой вы начинаете анализировать, что за этим данными стоит. Понимаете, что пользователи видят ценность в информации, которую содержат «пуши». И ваша задача выяснить, какие уведомления людям нравится, почему это происходит. Так вы сможете увеличить ценность приложения, отправлять только те уведомления, которые пользователям реально интересны.

Пример № 3

Вы создали мобильную игру. Особенно пристально следите за метриками ежедневной и ежемесячной активности и удержания пользователей. Вы создали новую функцию. Получили отзывы, что из–за нее стало сложнее проходить уровни. Но решили, что надо провести A / B тест. Он не показал, что новая функция как–то негативно повлияла на приложение. Все вроде бы хорошо и вы запускаете новую функцию на всех пользователей.

Через какое–то время вы замечаете, что все меньше людей стало доходить до сложных уровней. Однако показатели DAU (показывает число уникальных пользователей приложения в день) и MAU (число уникальных пользователей в месяц) держатся на прежнем уровне. Что же происходит?

Дело в том, что пользователям стало сложнее играть в вашу игру, но они все еще пытаются. Однако вскоре им это надоест, и вы увидите, как это повлияет на DAU и MAU. Спойлер: не в лучшую сторону. Метрики пойдут вниз, это означает, что люди стали уходить из игры и больше не возвращаются в нее. Остановить этот процесс будет уже слишком поздно.

Сплит–тестом вы измеряли данные, которые не точно фиксируют поведение пользователей. DAU и MAU были отстающими индикаторами. Измерять же надо было уровни, достигнутые пользователями. Понять это помог бы подход data-informed.

• Для начала нужно понять, какое поведение пользователя управляет той или иной метрикой. И не использовать этот показатель вслепую. В каждом эксперименте должны быть гипотезы, которые укажут, какое поведение пользователя влияет на изменения каждой метрики.

• Всегда еще раз спрашивайте себя, то ли вы измеряете. Как в том примере со сложными уровнями в игре. Вдруг вы тоже следите за отстающими показателями, которые пока не начали меняться.

• Изучайте, каким был опыт пользователям в вашем эксперименте. Что еще происходит в вашей системе? Могло ли это повлиять?

• Не игнорируйте мнения тех членов команды, кто скажет, что все результаты — абсолютная чушь. Вдруг в них есть зерно?

• На первом месте всегда пользователь. Думайте не о цифрах, а о том, чтобы сделать его счастливым.

В какой–то момент Google слишком сильно увлеклись подходом data-driven. Они начали полагаться на данные даже в мелочах. Игнорируя при этом мнения ведущих специалистов компании.

Например, они тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы. В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок — на странице почты Gmail.

Из–за этого из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто заявил: «Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».

Подход data-driven в дизайне проявляется так: на каждый экран и элемент интерфейса ставят счетчик. Определяют важные метрики. Затем с помощью экспериментов и сплит–тестов стараются улучшать показатели по ним. Стремятся довести до максимальных значений.

Разберемся, как это работает на практике. Мы делаем сайт, который продает книги — бумажные, аудио и электронные форматы. Все элементы дизайна мы начинаем измерять. И в итоге выбираем тот, который позволяет продавать больше всего книг.

Дизайны сайтов с подходом data-driven выглядят так:

И вот так:

И еще так:

Они хороши? Безусловно да. И такой дизайн точно способствует продажам. Но приятен ли он с эстетической точки зрения? Вызывает ли он положительные эмоции? Вряд ли.

Философия data-informed в дизайне говорит, что аналитика, безусловно, важна. Но кроме нее еще есть вкус и профессионализм дизайнеров продуктовой команды. И к ним тоже стоит прислушаться. В таком дизайне тоже много метрик, но еще есть щепотка любви, горсть заботы о пользователях и «глаза» дизайнеров. В пример здесь любят приводить сайт Airbnb.