Получите все материалы с наших тренингов — бесплатно
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести
⚡ Ответим в течение 30 минут — contact@leadstartup.ru
+7 495 150 42 63 — с 8:00 до 21:00 МСК
Катерина Сухих

Тестирование гипотез продукта: с чего начать и как провести + кейс Google

43 отзыва, в среднем 5 из 5
В чем секрет успешности крупных компаний? Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать.Результатом тестирования гипотез в стали успешные и рабочие модели.

Зачем тестировать продуктовые гипотезы?

Как показывает опыт крутых компаний, чем больше продуктовых гипотез будет протестировано, тем быстрее пойдет рост и прибыль.

Получите нашу единую MIRO–доску с 100+ инструментами и доступ к Google–диску
Материалы тренингов LeadStartup

Как сформировать гипотезу продукта для тестирования?

Формулируем какую проблему пытаемся решить. Определяем, какой уровень продукта будем тестировать. Смотрим статистику, оцениваем какой вариант лучше. Делаем выводы.

Инструменты проверки продуктовых гипотез

A/B тестирование или сплит–тест Количественный опрос пользователей Качественные исследования или customer development

Тестирование гипотез продукта

Тестирование продуктовых гипотез в чем–то напоминает подбор отмычки к запертой двери. Нужно постоянно менять гипотезы–отмычки и проверять, как они действуют на замок–продукт. И только так можно прийти к максимальному результату — открытой двери или обоснованной гипотезе продукта.

Бизнес говорит: давайте построим 10 вещей и узнаем, что сработает. Но тут приходит со своим мнением продуктовый менеджер: почему бы нам не поэкспериментировать с 10 вещами и не построить те три, которые сработали?

hypothesis testing

Зачем тестировать продуктовые гипотезы

В чем секрет Twitter, Facebook, Amazon, Google? У них была мощная идея, бесконечный поток инвестиций и самые лучшие маркетологи мира? А вот и нет. Просто повезло? Тоже мимо.

Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать.

Результатом тестирования гипотез в Twitter стала механика удержания пользователей. В Facebook — расположение кнопок, в Amazon — цепочка писем, ретаргетинг и скидки, которые заставляют купить.

Как показывает опыт таких крутых компаний, чем больше продуктовых гипотез будет протестировано, тем быстрее пойдет рост.

hypothesis testing

Как сформировать гипотезу продукта для тестирования

Формулируем, что хотим изучить. Какую проблему пытаемся этим решить.

Затем определяемся, какой уровень продукта мы будем тестировать. Допустим, что мы работаем над регистрацией на лендинге. Дизайнер предлагает два решения на выбор. Мы проводим A/B тест. Один вариант показываем 50% аудитории. Второй вариант — другим 50% аудитории. Затем с помощью статистики оцениваем, какой вариант зашел лучше или же между ними не было заметной разницы. На основе этого делаем выводы. Но что если один дизайн оказался хуже, чем второй? Получится ли сделать вывод, что он хуже? И здесь–то важно понимать, какой уровень продукта мы тестируем.

Сразу разберемся, какие есть продуктовые уровни:

Value level — на этом уровне ценности мы можем протестировать проблему, которую должен решать наш продукт. Понять, стоит ее решать или она яйца выеденного не стоит.

Feature level — это про функционал, через который пользователь быстрее осознает ценность нашего продукта.

Design level — дизайн и визуализация. Как наш функционал будет работать с точки зрения пользовательского опыта. Проще говоря, разберутся люди, как управлять, куда нажимать, что делать в продукте или нет.

Feasibility level — это про техническую реализацию всего, что мы создали. Будет сайт загружаться 10 секунд или 2.

А теперь вернемся к нашему примеру с лендингом. Мы тестируем гипотезу о том была ли регистрационная форма удобна и понятна пользователям. И вывод об это мы можем сделать только если будем тестировать гипотезу на уровне дизайна.

Вполне может оказаться, что проблема не с дизайном, а с текстами на лендинге, которые объясняют преимущества продукта и призывают к регистрации. Они могут не отзываться пользователям, не создавать уверенности, что регистрация приблизит к решению проблемы. Но это уже тестирование уровня value, то есть про донесение ценности.

А еще может статься, что технически лендинг подкачал и страница грузилась слишком долго. Это уже уровень feasibility.

Следующий пункт, который вам нужно изучить — это уверенность в ценностном предложении для пользователей. Вы уверены, что этот функционал им нужен? Уверены в дизайне? То, что вы предлагаете в принципе возможно реализовать? И, наконец, самое главное, что из всего этого вы собираетесь тестировать?

Как понять, что у вас хорошая гипотеза

Хорошая гипотеза должна отвечать на пять вопросов:

  • Какое изменение? Для начала определимся, что хотим изменить в продукте. Добавить новые функции или уровни в игре, изменить цветовую гамму или какую–то кнопку убрать/добавить.
  • Какой результат или в чем будем измерять успех от гипотезы? Какая продуктовая метрика должна измениться, когда мы это сделаем. Это может быть конверсия, retention, LTV, MAU, DAU и так далее.
  • Для кого? На ком мы будем измерять этот эффект. Все люди ведут себя по–разному. Соответственно и их реакция на новшества в продукте может быть разной. Поэтому мы обозначаем, на ком проверяем гипотезу: на органическом трафике или неорганическом, на каких странах, на каких когортах людей.
  • На сколько? На сколько изменится нужная метрика. На 5%, 10% или 100%?
  • Как долго? За какой период мы получим необходимый результат. Важно установить границы проверки продуктовой гипотезы, не делать их расплывчатыми по времени.

hypothesis testing

Инструменты проверки продуктовых гипотез

A/B тестирование или сплит–тест

В таком тестировании главное — четко определить выборку, точнее ее размер. Это важно, чтобы результаты получились максимально реалистичными и статистически значимыми. Многие продуктовые менеджеры рекомендуют проводить сплит–тестирование при наличии как минимум десяти тысяч активной месячной аудитории. Если столько пока нет, лучше использовать другие инструменты.

Количественный опрос пользователей

Их создание и проведение облегчают специальные сервисы. Например, Survey Monkey. На бесплатном тарифе можно создавать анкеты до 10 вопросов. Статистику ответов можно тут же просматривать в реальном времени, что особенно удобно на совещании. Ссылку на анкету можно разместить на сайте или в соцсетях. Такие сервисы позволяют выбрать нужную аудиторию и задавать ей вопросы.

Качественные исследования или customer development

Это прямой разговор в потребителями или с определенной группой потенциальных потребителей продукта. Такие интервью можно разделить на две группы:

  • Usability — поможет понять смогут ли пользователи в принципе использовать ваш продукт и решать с его помощью свои задачи, достигать цели.
  • Discovery — детально вникает в состояние, проблемы, восприятие пользователей определенной группы. В таких интервью задают вопросы: Кто? Как? Зачем? Где?

Сколько таких интервью нужно, чтобы протестировать гипотезу? Начинают обычно с пяти. И продолжают до тех пор, пока люди не перестанут давать новые ответы. То есть, как только информация начнет повторяться, можно прекращать.

Для гипотез, которые тестируют небольшие изменения в продукте, может хватить 5-7 интервью.

Для запуска абсолютно нового продукта — 50-70 интервью.

Тестирование гипотез продукта методом HADI

HADI — это цикл из четырех блоков:

  • Hypothesis — формирование гипотезы по принципу «если, то…»
  • Action — проверка гипотезы продукта, то есть проводим работы для запуска эксперимента.
  • Data — собираем данные и получаем измеряемый результат.
  • Insights — делаем выводы: была ли гипотеза успешна, что и как можно было бы улучшить. А на их основе формулируем дальнейшие гипотезы и снова проходим цикл: проверка — измеряемый результат — выводы и новые гипотезы.

Наверняка, вы хотите, как можно скорее добиться успеха в своем продукте? Для этого вам нужна команда роста. Ее можно создать из существующих сотрудников (team lead, разработчик, дизайнер и так далее). Всего до 8 человек и лидер.

Сотрудники такой команды должны быть:

  • открытыми и пессимистично настроенными
  • иметь собственное мнение, не бояться противостоять начальству и все проверять
  • уметь быстро обучаться.

На роль лидера команды роста выбирают человека, который сможет отстаивать идеи перед руководством. Ему же надо будет создать условия для тестирования гипотез и экспериментов, а еще стимулировать команду. Лидер должен отлично разбираться в продукте, иметь опыт руководства и авторитет у сотрудников. Кроме того, ему должны позволить совершать ошибки, применять нестандартные решения и методы.

Из сотрудников компании на эту должность обычно выбирают веб–аналитика, ведущего маркетолога, директора по развитию или CEO.

Как выстроить процесс тестирования гипотез в команде роста?

  • Каждую неделю вся команда собирается на Growth meeting. На нем обсуждают результаты тестирования гипотез, генерируют новые, отбирают гипотезы, которые наиболее эффективны и их можно быстро проверить, распределяют задачи по тестированию между сотрудниками. Встреча должна длиться не больше часа и проходить перед митингом команды разработки. Зачем? Чтобы в бэклог спринта могли попасть задачи и от команды роста.
  • В течение недели (или больше, зависит от длительности спринтов, утвержденных в команде) лидер контролирует процесс и собирает данные по каждой гипотезе.
  • Команду роста нужно сфокусировать на 1-2 главных метриках продукта. Это может быть рост подписчиков, рост месячной прибыли или более конкретно — рост заказов такси, увеличение количества забронированных ночей. Такой подход позволит правильно расставить приоритеты и позволит каждому участнику генерировать идеи.

В первый месяц обязательно празднуйте победы команды роста всем офисом. Пусть все знают, что была протестирована успешная гипотеза продукта и произошел рост. Ура!

hypothesis testing

Кейс по тестированию гипотез в Google

Обязательно соизмеряйте результат, который может дать гипотеза, с ресурсами, которые вы на это тратите.

В какой–то момент Google слишком сильно увлеклись тестированием гипотез, они начали полагаться на данные даже в мелочах. Игнорируя при этом мнение специалистов компании.

Например, в 2009-м они тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы. В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок — на странице почты Gmail.

Из–за из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто сказал:

«Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».

Получите единый доступ ко всем нашим 21 курсам, 8 тренингам, 4 профессиям и 126 воркшопам — с сертификацией