Ответим в течение 30 минут — contact@leadstartup.ru
+7 495 150 42 63 — с 8:00 до 21:00 МСК
Материалы курсов — в Telegram
Получите все материалы с наших тренингов — бесплатно
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести
Тестирование Гипотез Продукта: 🔔 с Чего Начать и Как Провести

Тестирование гипотез продукта: с чего начать и как провести + кейс Google

Обучение
Количество отзывов (рецензий) 1
Средний рейтинг рецензии 5

# Тестирование гипотез продукта

Тестирование гипотез продукта

Тестирование продуктовых гипотез в чем–то напоминает подбор отмычки к запертой двери. Нужно постоянно менять гипотезы–отмычки и проверять, как они действуют на замок–продукт. И только так можно прийти к максимальному  результату — открытой двери или обоснованной гипотезе продукта.

Бизнес говорит: давайте построим 10 вещей и узнаем, что сработает. Но тут приходит со своим мнением продуктовый менеджер: почему бы нам не поэкспериментировать с 10 вещами и не построить те три, которые сработали?

hypothesis testing

🎓
Доступ к Miro и Google–диску
Доступ к Miro и Google–диску — бесплатно

Зачем тестировать продуктовые гипотезы

В чем секрет Twitter, Facebook, Amazon, Google? У них была мощная идея, бесконечный поток инвестиций и самые лучшие маркетологи мира? А вот и нет. Просто повезло? Тоже мимо.

Их секрет в том, что они не боялись экспериментировать, ошибаться, и снова тестировать.

Результатом тестирования гипотез в Twitter стала механика удержания пользователей. В Facebook — расположение кнопок,  в Amazon — цепочка писем, ретаргетинг и скидки, которые заставляют купить.

Как показывает опыт таких крутых компаний, чем больше продуктовых гипотез будет протестировано, тем быстрее пойдет рост.

 тестирование продуктовых гипотез

Получите доступ к 25 курсам LeadStartup — за 2750 рублей

Как сформировать гипотезу продукта для тестирования

Формулируем, что хотим изучить. Какую проблему пытаемся этим решить.

Затем определяемся, какой уровень продукта мы будем тестировать. Допустим, что мы работаем над регистрацией на лендинге. Дизайнер предлагает два решения на выбор. Мы проводим A/B тест. Один вариант показываем 50% аудитории. Второй вариант — другим 50% аудитории. Затем с помощью статистики оцениваем, какой вариант зашел лучше или же между ними не было заметной разницы. На основе этого делаем выводы. Но что если один дизайн оказался хуже, чем второй? Получится ли сделать вывод, что он хуже? И здесь–то важно понимать, какой уровень продукта мы тестируем.

Сразу разберемся, какие есть продуктовые уровни:

Value level — на этом уровне ценности мы можем протестировать проблему, которую должен  решать наш продукт. Понять, стоит ее решать или она яйца выеденного не стоит.

Feature level — это про функционал, через который пользователь быстрее осознает ценность нашего продукта.

Design level — дизайн и визуализация. Как наш функционал будет работать с точки зрения пользовательского опыта. Проще говоря, разберутся люди, как управлять, куда нажимать, что делать в продукте или нет.

Feasibility level — это про техническую реализацию всего, что мы создали. Будет сайт загружаться 10 секунд или 2.

А теперь вернемся  к нашему  примеру с лендингом. Мы тестируем гипотезу о том была ли регистрационная форма удобна и понятна пользователям. И вывод об это мы можем сделать только если будем тестировать гипотезу на уровне дизайна.

Вполне может оказаться, что проблема не с дизайном, а с текстами на лендинге, которые объясняют преимущества продукта и призывают к регистрации. Они могут не отзываться пользователям, не создавать уверенности, что регистрация приблизит к решению проблемы. Но это уже тестирование уровня value, то есть про донесение ценности.

А еще может статься, что технически лендинг подкачал и страница грузилась слишком долго. Это уже уровень feasibility.

Следующий пункт, который вам нужно изучить — это уверенность в ценностном предложении для пользователей. Вы уверены, что этот функционал им нужен? Уверены в дизайне? То, что вы предлагаете в принципе возможно реализовать?  И, наконец, самое главное, что из всего этого вы собираетесь тестировать?

🎓
Получите доступ к нашему Google–диску — бесплатно
Скачать модель
Получите доступ к нашему Google–диску — бесплатно
Скачать модель

Как понять, что у вас хорошая гипотеза

Хорошая гипотеза должна отвечать на пять вопросов:

  • Какое изменение? Для начала определимся, что хотим изменить в продукте. Добавить новые функции или уровни в игре, изменить цветовую гамму или какую–то кнопку убрать/добавить.
  • Какой результат или в чем будем измерять успех от гипотезы? Какая продуктовая метрика должна измениться, когда мы это сделаем. Это может быть конверсия, retention, LTV, MAU, DAU и так далее.
  • Для кого? На ком мы будем измерять этот эффект. Все люди ведут себя по–разному. Соответственно и их реакция на новшества в продукте может быть разной. Поэтому мы обозначаем, на ком проверяем гипотезу: на органическом трафике или неорганическом, на каких странах, на каких когортах людей.
  • На сколько? На сколько изменится нужная метрика. На 5%, 10% или 100%?
  • Как долго? За какой период мы получим необходимый результат. Важно установить границы проверки продуктовой гипотезы, не делать их расплывчатыми по времени.

 тестирование гипотез

🎓
Инструменты для разработки IT–продуктов
Скачать модель
Инструменты для разработки IT–продуктов
Скачать модель

Инструменты проверки продуктовых гипотез

A/B тестирование или сплит–тест

В таком тестировании главное —  четко определить  выборку, точнее ее размер. Это важно, чтобы результаты получились максимально реалистичными и статистически значимыми.  Многие продуктовые менеджеры рекомендуют проводить сплит–тестирование при наличии как минимум десяти тысяч активной месячной аудитории. Если столько пока нет, лучше использовать другие инструменты.

Количественный опрос пользователей

Их  создание и проведение облегчают специальные сервисы. Например, Survey Monkey. На бесплатном тарифе можно создавать анкеты до 10 вопросов. Статистику ответов можно тут же просматривать в реальном времени, что особенно удобно на совещании. Ссылку на анкету можно разместить на сайте или в соцсетях. Такие сервисы позволяют выбрать нужную аудиторию и задавать ей вопросы.

Качественные исследования или customer development

Это прямой разговор в потребителями или с определенной группой потенциальных потребителей продукта. Такие интервью можно разделить на две группы:

  • Usability — поможет понять смогут ли пользователи в принципе использовать ваш продукт и решать с его помощью свои задачи, достигать цели.
  • Discovery — детально вникает в состояние, проблемы, восприятие пользователей определенной группы. В таких интервью задают вопросы: Кто? Как? Зачем? Где?

Сколько таких интервью нужно, чтобы протестировать гипотезу? Начинают обычно с пяти. И продолжают до тех пор, пока люди не перестанут давать новые ответы. То есть, как только информация начнет повторяться, можно прекращать.

Для гипотез, которые тестируют небольшие изменения в продукте, может хватить 5-7 интервью.

Для запуска абсолютно нового продукта — 50-70 интервью.

Получите доступ к 25 курсам LeadStartup — за 2750 рублей

Тестирование гипотез продукта методом HADI

HADI  — это цикл из четырех блоков:

  • Hypothesis — формирование гипотезы по принципу «если, то…»
  • Action — проверка гипотезы продукта, то есть проводим работы для запуска эксперимента.
  • Data — собираем данные и получаем измеряемый результат.
  • Insights — делаем выводы: была ли гипотеза успешна, что и как можно было бы улучшить. А на их основе формулируем дальнейшие гипотезы и снова проходим цикл: проверка — измеряемый результат — выводы и новые гипотезы.

Наверняка, вы хотите, как можно скорее добиться успеха в своем продукте? Для этого вам нужна команда роста. Ее можно создать из существующих сотрудников (team lead, разработчик, дизайнер и так далее). Всего до 8 человек и лидер.

Сотрудники такой команды должны быть:

  • открытыми и пессимистично настроенными
  • иметь собственное мнение, не бояться противостоять начальству и все проверять
  • уметь быстро обучаться.

На роль лидера команды роста выбирают человека, который сможет отстаивать идеи перед руководством. Ему же надо будет создать условия для тестирования гипотез и экспериментов, а еще стимулировать команду.  Лидер должен отлично разбираться в продукте, иметь опыт руководства и авторитет у сотрудников. Кроме того, ему должны позволить совершать ошибки, применять нестандартные решения и методы.

Из сотрудников компании на эту должность обычно выбирают веб–аналитика, ведущего маркетолога, директора по развитию или CEO.

Получите доступ к 25 курсам LeadStartup — за 2750 рублей

Как выстроить процесс тестирования гипотез в команде роста?

  • Каждую неделю вся команда собирается на Growth meeting. На нем обсуждают результаты тестирования гипотез, генерируют новые, отбирают гипотезы, которые наиболее эффективны и их можно быстро проверить, распределяют задачи по тестированию между сотрудниками. Встреча должна длиться не больше часа и проходить перед митингом команды разработки. Зачем? Чтобы в бэклог спринта могли попасть задачи и от команды роста.
  • В течение недели (или больше, зависит от длительности спринтов, утвержденных в команде) лидер контролирует процесс и собирает данные по каждой гипотезе.
  • Команду роста нужно сфокусировать на 1-2 главных метриках продукта. Это может быть рост подписчиков, рост месячной прибыли или более конкретно — рост заказов такси, увеличение количества забронированных ночей. Такой подход позволит правильно расставить приоритеты и позволит каждому участнику генерировать идеи.

В первый месяц обязательно празднуйте победы команды роста всем офисом. Пусть все знают, что была протестирована успешная гипотеза продукта и произошел рост. Ура!

hypothesis testing

Кейс по тестированию гипотез в Google

Обязательно соизмеряйте результат, который может дать гипотеза, с ресурсами, которые вы на это тратите.

В какой–то момент Google слишком сильно увлеклись тестированием гипотез, они начали полагаться на данные даже в мелочах. Игнорируя при этом мнение специалистов компании.

Например, в 2009-м они  тестировали 41 оттенок голубого цвета, чтобы узнать, какой будет эффективнее и лучше для всей платформы.  В гипотезе они использовали один оттенок голубого на главной странице поисковика, а другой оттенок —  на странице почты Gmail.

Из–за  из компании даже ушел ведущий дизайнер Дуглас Боумэн. Он тогда открыто сказал:

«Да, это правда, что команда в Google не могла выбрать между двумя блюзами, поэтому они тестируют 41 оттенок между каждым синим, чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли граница быть 3, 4 или 5 пикселей в ширину, и меня попросили доказать это. Я не могу работать в такой среде. Я устал обсуждать такие миниатюрные дизайнерские решения. В этом мире есть более захватывающие проблемы дизайна, которые нужно решать».

Вы научитесь масштабировать Agile–мышление на уровень всей корпорации и взаимодействовать с ТОП–менеджментом.
Вы научитесь управлять Scrum–командами, создавать Kanban–системы и руководить внедрением Agile фреймворков.
Обучитесь Agile-инструментам влияния на выживаемость бизнеса в условиях крайней неопределенности.
Вы научитесь создавать бизнес–модели цифровых продуктов и защищать их на презентации перед ТОП–менеджментом.
Вы научитесь управлять запуском цифровых инноваций и выступать в роли бизнес–трекера для внутренних стартапов.
Вы научитесь проводить глубинные интервью для поиска сильнейших инсайтов по развитию вашего продукта.
Вы научитесь визуализировать клиентский опыт взаимодействия с компанией, учитывая мысли, цели и задачи клиента через CJM.
Вы освоите методологию дизайн–мышления и научитесь использовать дизайн-мышление для поиска прорывных идей.
Вы освоите методологию развития аналитической культуры в корпорациях для достижения целей цифровой трансформации.
Обучение эмоциональному интеллекту — способ обновить и оживить корпоративную культуру компании.
Вы освоите методологию Growth Hacking — быстрого тестирования гипотез для кратного роста по прибыли.
Вы научитесь проводить интервью и исследования по методологии Jobs To Be Done для валидации идей роста.
Вы научитесь применять фреймворк LeSS для объединения нескольких Agile–команд при работе над продуктом.
Вы научитесь применять навыки Ситуационного Лидерства для развития самоорганизации на уровнях команд и организаций.
Вы научитесь проектировать Канбан–системы и работать с Канбан–доской в рамках продуктовой и проектной работы.
Вы научитесь управлять продуктовой стратегией и совместно со стейкходерами формировать дорожную карту развития продукта.
Вы научитесь радикально повышать вероятность выхода на положительную рентабельность новых бизнес–направлений.
Вы научитесь проводить оценку целесообразности запуска нового цифрового продукта или бизнес–направления.
Вы научитесь формировать амбициозные, значимые для бизнеса OKR–цели и совместно с сотрудниками достигать их.
Вы научитесь использовать сервис продуктовой аналитики Amplitude для нахождения точек роста прибыли продукта.
Вы освоите роль Владельца Продукта в Scrum, научитесь приоритизировать задачи и максимизировать бизнес–ценность.
Вы научитесь применять фреймворк SAFe для объединения нескольких Agile–команд при работе над продуктом.
Вы научитесь вести Scrum–команды к самоорганизации и высокой продуктивности, с получением сертификации PSM I.
Вы освоите все мероприятия, роли и артефакты фреймворка Scrum, и сможете применить Scrum на практике в своем отделе.
Вы научитесь определять точки кратного роста прибыли и обоснованно принимать решение где сфокусировать усилия.