⚡️ Подпишитесь на Telegram
Получите все материалы с наших тренингов — бесплатно
Тестирование бизнес 🚴 гипотез — метод проверки
Тестирование бизнес 🚴 гипотез — метод проверки
Тестирование бизнес 🚴 гипотез — метод проверки

Тестирование бизнес 🚴 гипотез — пример плана и методологии проверки

«Учиться – значит расти». Это обычная фраза в мире профессионального развития, но в равной степени это верно и тогда, когда дело касается роста бизнеса. Культура тестирования гипотез и оптимизации — верность этим двум процессам являются ключевыми компонентами целенаправленного роста.

Это связано с тем, что рост часто представляет собой игру с уменьшающейся доходностью. Тактика и каналы роста, которые работали вчера, вероятно, сегодня работают не так хорошо, а завтра принесут еще меньше доходов.

Более того, эту тактику вряд ли можно повторить. То, что «дало толчок» процессу привлечения для компании, занимающейся финансовыми технологиями, или увеличило количество ежедневных активных пользователей для какого–нибудь образовательного приложения, никогда не будет стопроцентным попаданием в другой вертикали.

Чтобы оставаться на лидирующих позициях, вам нужно тестировать, тестировать и снова тестировать. Каждый эксперимент в плане роста, независимо от его результатов, дает возможность узнать что–то о вашем бизнесе и пользователях и расти дальше. Если результаты действительно хороши, и вы нашли что–то с ощутимым эффектом – оптимизируйте это, выжав из него все возможное. Если вы видите небольшое изменение, спросите себя, стоил ли результат затраченных усилий?

Даже если вы нашли что–то, что не приводит к каким–либо значительным результатам, в этом тоже есть своя ценность. Это говорит о том, что с вашей интуицией (в отношении вашего продукта или пользователя) было что–то не так, или вы что–то пропустили на своем пути к таким результатам.

Самый быстрый способ остановить рост вашей компании – это почивать на лаврах. Итак, какой эксперимент в области роста вы проведете следующим?

Существует время и место для тестирования гипотез взлома роста

Дэс Трэйнор, Co-founder Intercom

Для молодых компаний небольшие проекты по оптимизации просто не имеют смысла. Изменение версии с «зарегистрироваться бесплатно» на «зарегистрироваться бесплатно на 30 дней», или сравнение красной кнопки с зеленой кнопкой может показаться небольшим движением вперед, но в таком случае вы, вероятно, будете работать в направлении локального максимума.

Вы пытаетесь перейти к последним 100 метрам дистанции и делаете это с небольшими экспериментами, проведение каждого из которых, к сожалению, занимает много времени – если, конечно, у вас нет сайта с очень высоким трафиком. Это означает, что для стартапов такие эксперименты обычно будут пустой тратой времени, отвлекая вас от работы над проектами, которые действительно важны.

Люди в стартапах часто испытывают зависть к крупным компаниям. Они видят большую компанию, проводящую A/B тест, который в результате дает улучшение конверсии на 0,2% (а для Amazon такое изменение может стоить 100 миллионов долларов), и компания получает такой результат всего за несколько дней. Но для стартапа более вероятный вариант результата – это 1000 долларов в MRR, для чего потребовалось на 7 месяцев «заморозить» главную страницу.

Когда вы находитесь на этапе до масштабирования, время, деньги и умственную работу, потраченные на то, чтобы настроить системы, которые должны помочь в проведении тестов, лучше потратить на что–нибудь другое. Точно так же не напрягайтесь, когда читаете про A/B тест, который гарантирует 5-процентное увеличение конверсии. Он никогда не обеспечит вам такого же результата. Копирование результатов тестов других людей похоже на ношение чужих очков – они просто не предназначены для вас.

Получите руководство по расчету экономики стартапа — бесплатно
Скачать модель

Джефф Чанг, Growth Tech Lead, Pinterest

Общей проблемой, которую испытывают новые команды роста, является то, что они чрезмерно инвестируют в какую–нибудь возможность роста, которая не окупается, в то время как вокруг них лежат многие другие хорошие возможности. Если какая–либо возможность роста даже приблизительно не окупается на уровне ваших ожиданий, быстро заканчивайте работать с ней и попробуйте другие.

Естественно, по мере расширения команды роста она будет вкладывать больше средств в возможности, которые продолжают показывать впечатляющие результаты. В начале роста Pinterest у нас неоднократно были команды вполне достойного размера, которые работали над каким–нибудь проектом в течение нескольких месяцев и показывали минимальные, а то и отсутствующие результаты.

Иногда какой–нибудь проект полностью выбрасывался в мусор, и месяцы работы оказывались потраченными впустую. С тех пор мы научились быстро отказываться от неудачных проектов, и сейчас каждая подкоманда, работающая над достижением роста, показывает значительные результаты.

Что касается конкретных возможностей, я бы рекомендовал попробовать для начала хотя бы одну возможность привлечения и одну возможность удержания. Привлечение без удержания имеет хорошо известную проблему «собирания воды в протекающее ведро», а удержание без привлечения приводит к медленным темпам роста.

Таким образом, вам в конце концов придется решать обе проблемы. Вот несколько примеров возможностей в каждой категории и некоторые характеристики продуктов с предложением попробовать каждую из них.

Привлечение:

  • SEO – продукт имеет качественное информационное наполнение сайта.
  • Конверсия мобильной версии в приложение – продукт получает трафик мобильного веба и, к тому же, имеет работающее приложение.
  • Конверсия регистраций – каждый продукт, требующий аутентификации.
  • Показатели работы – каждый продукт.
  • Платное привлечение – у компании есть бюджет и достойный LTV.
  • Виральность – продукт имеет социальный аспект.
  • Рефералы – у продукта есть что дать пользователям, чтобы стимулировать их.

Удержание:

  • SEO – у продукта есть значительное информационное наполнение сайта.
  • Email – каждый продукт.
  • Показатели работы – каждый продукт.
  • Пуш–уведомления – у продукта есть приложение.
  • Конверсия авторизаций – каждый продукт.
  • Платная реактивация – у компании есть бюджет и достойный LTV.

Как вы можете видеть, многие из этих возможностей, вероятно, применимы к вашему продукту, и этот список не является исчерпывающим. В конце концов, вы захотите попробовать все из них!

Получите доступ к Google–диску LeadStartup
Бесплатно

Как небольшие постепенные улучшения объединяются во что–то более сложное

Яо Чунг, Директор по бизнес–операциям, Intercom

Венчурный капитал представляет собой интересную, рискованную игру по поиску небольшого количества отдельных компаний, которые будут генерировать все ваши доходы. Когда я работал в Social Capital, наш Главный управляющий директор Чамат Палихапитийя попытался изменить эту игру.

Он думал, что если мы сможем изменить шансы на успех для компаний, в которые мы инвестируем, даже на несколько процентных пунктов, такой измененный порог затронет все инвестиции в нашем портфеле и приведет к большому кумулятивному приросту в финансовых показателях нашей деятельности.

Хороший инвестор, работающий на открытых рынках, может принимать правильное решение в 55% случаев по сравнению с посредственным инвестором, который в основном имеет примерно равные шансы как на успех, так и на неудачу (или даже хуже), но эффективность хорошего инвестора с течением времени увеличивается.

Именно создание менталитета роста и применение набора лучших практик в области роста во всем нашем портфеле были его способом систематического изменения наших шансов.

На практике это выглядело как помощь нашим портфельным компаниям в осуществлении небольших инвестиций в улучшение ситуации: можем ли мы реализовать одно улучшение в X? Если это сработает, можем ли мы реализовать еще одно улучшение в Y? Пока эти инвестиции тщательно и всесторонне оцениваются и вписываются в целостную структуру, они устанавливаются одна поверх другой и объединяются во что–то более сложное.

Они начинают показывать синергетический эффект, что и является силой экспоненциального роста: последовательные улучшения на 1% с течением времени позволят в результате достигнуть абсолютных увеличений в финансовых показателях деятельности. В этом смысле рост не основывается на придумывании какого–либо одного ловкого хода или идеи, которые устранят все ваши проблемы.

Рост – это продуманное, итеративное улучшение всех частей вашего бизнеса, которые необходимо улучшить, сохраняя при этом целостное представление о том, как все эти части сочетаются друг с другом.

Материалы с наших тренингов — бесплатно
LeadStartup Энциклопедия
LeadStartup База знаний
Статьи и Публикации LeadStartup

Тестируйте гипотезы, чтобы учиться

Шон Эллис, CEO, Growth Hackers

Целью команды роста является тестирование в высоком темпе. Вы проводите тесты по каждому из векторов в структуре AARRR. Чем больше тестирований вы проведете, тем большему вы научитесь. Именно эти знания дадут вам возможность понять, что будет работать в данном бизнесе, а что не будет.

Хорошим примером такого подхода является Twitter. Мы все знаем, что в последнее время у Twitter были некоторые проблемы с ростом. Вероятно, это часть причины, по которой они не против идеи добавления какого–нибудь алгоритма. Это не первый случай, когда Twitter испытывает проблемы с ростом.

тестирование гипотез

В конце 2010 года у них был почти нулевой квартал. В то время они проводили менее одного теста в неделю. Однако затем они привлекли нового руководителя по росту, который продавил идею о необходимости увеличить частоту таких тестов. В результате они повысили их количество до 10 в неделю. Вы можете видеть, что они уже несколько лет показывают постоянный рост после увеличения частоты тестов до 10 в неделю.

Здесь действительно все сводится к тестированию, и вы, очевидно, хотите с умом подходить к выбору того, что вы тестируете.

Искушение необъективности, основанной на недавнем опыте

Брайан Котляр, Директор по стимулированию спроса, Intercom

Человеческая натура имеет склонность к необъективности, основанной на недавнем опыте. «Это работает, поэтому давайте продолжать в том же ключе». Продавцы встречаются с такой проблемой довольно часто.

Они относят любую сделку, в рамках которой они недавно потерпели неудачу или достигли успеха, к определенной категории и считают, что такое классифицирование превращается в некий шаблон, который они могут использовать более широко. Однако истина заключается в том, что они не могут этого сделать, поскольку либо не видят, либо не полностью принимают во внимание все уникальные факторы, имевшие место в процессе успешного завершения такой сделки или неудачи в ней.

То же самое происходит и в маркетинге. Например, в онлайн–рекламе вы найдете какую–нибудь тактику таргетирования или креативную тактику, которая отлично работает в небольших масштабах, но при этом не будет работать тогда, когда вы попытаетесь расширить ее масштабы.

Когда вы тратите больше денег, эффективность рассеивается. Это происходит с нами все время. Мы вычисляем подходящий процент креатива и подходящий процент копирования, и это дает нам в результате нескольких клиентов по очень хорошей цене. Я скажу нашему агентству действовать поактивнее, они постараются, и вот мы уже, ни с того, ни с сего, тратим в 10 раз больше, чем планировали, чтобы получить этих клиентов.

Тогда мне придется дать им указание притормозить с этим делом.

С одной стороны, вы хотите сохранить по–детски непосредственный образ мышления, при котором хотите продолжать экспериментировать и не чувствовать себя выжатым каким–либо определенным каналом или тактикой. В то же время вы должны быть очень осторожны, когда пытаетесь увеличить масштабы – если будете слишком сильно и быстро давить, основываясь на ограниченных данных, это может обернуться для вас большими неприятностями.

Закон плохих кликов

Эндрю Чен, Генеральный партнер, Andreessen Horowitz

Первая баннерная реклама была создана для HotWired и имела коэффициент кликов более 70%. Теперь, 20 лет спустя, средний коэффициент кликов близок к 0,05%. Это очень низкий коэффициент, и каждый, кто работал в данной отрасли достаточно долго, видел, как то же самое происходит (по целому ряду причин) с электронной почтой, SMS и всеми другими вариантами.

У вас есть конкуренция, и есть сами платформы, говорящие: «Эй, нам нужно заканчивать с этим». В буквальном смысле у конечных пользователей происходит привыкание, и они начинают думать: «Ну, раньше было прикольно получать приглашения от моего друга, но теперь я получаю их все время». Такой подход менее эффективен, потому что у вас возникает эффект переполненности.

Я называю такую ситуацию «Законом плохих кликов», потому что она представляет собой то, с чем мы сталкивались очень продолжительное время и будем продолжать сталкиваться и дальше. Для всех нас, работающих в области маркетинга и роста, это означает, что мы должны постоянно находить свежие оригинальные подходы и идеи, поскольку все, что работало в прошлом, неизбежно перестанет работать через какое–то время.

К тому времени, когда Medium опубликует какое–нибудь тематическое исследование о чем–то, что работает, это что–то, вероятно, уже перестанет работать. Конечно, людям стоит продолжать использовать уже проверенные подходы, но при этом вы не должны ограничиваться ими – вам нужно выходить за уже существующие рамки.

Значительная часть интересной работы, происходящей там, заканчивается на этих «пограничных платформах». Это те области, в которых некоторые из крупных компаний, возможно, еще недостаточно поумнели; возможно, они еще не начали экспериментировать; возможно, у них слишком маленький канал. Это, например, такие вещи, как Alexa Skills.

Экосистема, которая сейчас строится вокруг игровой индустрии, это та крупная область, которую я считаю действительно потрясающей. Вы можете делать прямые трансляции какой–нибудь деятельности; вы можете делать голосовые чаты – вы можете делать все эти различные вещи вокруг недолговечных связей игроков, которые собираются вместе на определенный короткий период времени, чтобы поиграть в одну игру.

Вы не захотите добавить всех этих людей в свой Skype или Google Hangouts, потому что вы в буквальном смысле собираетесь вместе для одной игры. Однако продукт, который понимает всю эту недолговечную связь, может затем построить вокруг нее целую экосистему, и это именно то, что мы увидели на примере Discord и Twitch.

Всем нам, работающим в этой отрасли, полезно быть в курсе таких тенденций и видеть, что работает, потому что в противном случае мы будем находиться в постоянной конкуренции, при которой все наши продукты со временем просто перестанут работать.

Лучшие стартапы воздерживаются от перекусов

Дэс Трэйнор, Co-founder Intercom

Наилучшие уроки в бизнесе даются на доступном и понятном языке и открывают горькую правду. Один из таких примеров – информация, которую мы узнали от Хантера Волка. Он отметил, насколько фундаментальной является необходимость избегать малоэффективной работы. Чтобы объяснить свою идею, он нарисовал диаграмму 2×2, которая с тех пор стала чрезвычайно известной в нашей компании.

 тестирование бизнес гипотез

Любимым квадрантом каждого человека является работа с низкими затратами и высокой эффективностью. Но когда вы постоянно срываете низко висящие фрукты, сбор которых не требует особых усилий, ветки перестают расти, и такая работа быстро закончится в процессе созревания вашего продукта и команды.

Большинство стартапов достаточно разумны, чтобы избежать работы со значительными затратами и низкой отдачей. Нам стоит поговорить о нижнем левом квадранте более подробно.

 проверка гипотез

Это работа с низким уровнем затрат и слабой эффективностью, которая может вас убить своей высокой привлекательностью. Хантер называет ее «перекусом». Такой перекус обеспечивает определенный результат и может решить краткосрочную проблему, но если вы никогда не кушаете что–нибудь посущественнее, вы будете страдать.

Эту работу можно легко обосновать, потому что «Почему бы и нет? Это займет всего несколько часов». Если же она не обеспечивает достижение чего–нибудь полезного, ее можно легко оправдать, потому что «Ну, и в чем проблема? Мы потратили на это всего несколько часов».

Потраченное впустую время растет намного быстрее, чем незначительные результаты. Если вы будете так поступать достаточное количество раз, то вырастите команду с низким уровнем эффективности, которая ничего не добьется.

Добавление слоев к пирогу

Джефф Джордан, Генеральный партнер, Andreessen Horowitz (бывший Генеральный директор, eBay Северная Америка)

Форматы покупки были одним из первых мест, в которых eBay искал рост. В то время ebay.com предоставлял пользователям возможность покупать и продавать исключительно через интернет-

аукционы. Многие в сообществе думали, что именно в этом и заключалась магия данного сайта, и такая вера явно помогла обеспечить компании очень хороший старт. Но аукционы отпугивали многих потенциальных пользователей, которые отдавали предпочтение легкости и простоте форматов с фиксированными ценами. Интересно, что наше исследование предположило следующее: наши пользователи интернет–аукционов относились с определенной предвзятостью к людям, которые наслаждались конкурентным аспектом аукциона. Так что первое крупное нововведение, которым мы занялись, заключалось в реализации (революционной!) концепции, позволяющей продавцам предлагать товары на ebay.com по фиксированной цене, и мы назвали такую концепцию «Купить сейчас» (Buy It Now).

Удивительно, но концепция «Купить сейчас» производила довольно противоречивое впечатление на многих представителей как сообщества eBay, так и штаб–квартиры компании. Но мы глубоко выдохнули, рискнули и запустили эту функцию... и она полностью сработала: «Купить сейчас» хорошо дополняла аукционы, приводила новых пользователей и обеспечивала новые объявления на сайте, а также стала очень важным фактором роста на протяжении многих лет.

В наши дни формат «Купить сейчас» дает более 40 миллиардов долларов в ежегодном суммарном объеме продаж на eBay, что составляет 62% от их общего объема.

После такого первоначального успеха мы удвоили инновации для стимулирования роста. Мы ввели концепцию магазинов на eBay, что резко увеличило объем продукции, предлагаемой к продаже на нашей платформе.

Мы расширили меню дополнительных платных функций для продавцов, чтобы лучше выделять их объявления на сайте. Мы усовершенствовали процедуры послепродажной поддержки на ebay.com, значительно улучшив процесс оформления заказов и оплаты, включая окончательную беспроблемную интеграцию PayPal на сайте eBay. Каждое из этих нововведений способствовало росту бизнеса и помогало держать ситуацию под контролем.

Я решил назвать такой процесс постепенного добавления инноваций поверх структуры основного бизнеса «добавлением слоев к пирогу». Значительная часть естественных усилий в организации затрачивается на обеспечение оптимизации основного бизнеса. Это имеет смысл, так как небольшие улучшения в крупном бизнесе могут оказать существенное влияние.

Но при этом существует огромный потенциальный рычаг в виде добавления слоев нового, дополнительного бизнеса поверх основного (он же «пирог»). В случае с ebay.com, концепция «Купить сейчас», магазины, функции, процесс оформления заказов и оплаты и интеграция PayPal стали теми новыми инициативами, которые добавились поверх основного бизнеса.

Вы не ваш клиент

Кейси Уинтерс, советник по масштабированию и росту (бывший руководитель проектов по росту в Pinterest и GrubHub)

Довольно часто люди, запускающие какой–нибудь стартап, говорят: «Когда я это делаю, я это делаю именно таким образом». Но вы не клиент. Меня не волнует, насколько вы похожи на клиента.

У вас слишком много знаний об этой проблеме, чтобы предположить, что то, как вы это делаете, будет тем, как это будут делать другие люди. Проведите множество исследований качественных показателей и получите что–то, что можно положить перед потенциальными клиентами. Положите перед ними телефон, скажите им, чтобы они подписались на ваш продукт, и посмотрите, что они будут делать. Задавайте им вопросы.

Я провел большую часть 2015 года в поездках в разные страны, чтобы посмотреть, как люди подписываются на Pinterest. Это было ужасно. Все были в замешательстве. Никто не понимал, для чего был предназначен этот продукт. Это было плохо. Но это время привело к пониманию большого количества ценной информации и, в свою очередь, к целой куче успешных экспериментов, которые увеличили показатели активации и удержания наших продуктов.

Вы не сможете чему–то научиться, если не положите свой продукт перед пользователями и не посмотрите на то, что они с ним делают. Конечно, эксперимент может рассказать вам, что происходит, но он не скажет вам, почему это происходит. Вам действительно нужно положить что–то перед своим базовым контингентом пользователей, чтобы понять это.