Все о А/Б тестировании: от определения до причин его проведения. Узнайте, как эффективно использовать сплит-тесты для улучшения продуктов и стратегий.

Это эксперимент — вы показываете разные версии веб страницы разным пользователям. По результатам вы можете увидеть, какая из страниц лучше влияет на метрики, и оставить ту, которая показывает лучший результат.

Для улучшения метрик бизнеса и бизнес результатов. Для повышения конверсии в маркетинге и продажах. Для непрерывного совершенствования бизнеса.

Сделайте как минимум два варианта одной страницы, которая значимо влияет на ваш бизнес (находится в «узком месте»). Начните перенаправлять часть пользователей на новую страницу. После этого сравните оригинальную страницу и новую по ключевым показателям результата.

С помощью этого метода вы сможете увидеть — насколько на самом деле эффективны изменения, которые вы внедряете.

Вы можете предполагать, как пользователи отреагируют на то или иное изменение на вашем сайте. Но только реальный эксперимент покажет, насколько вы правы, и действительно ли новое решение принесет пользу.

Обладая этой информацией, вы сможете лучше принимать управленческие решения. В результате проведения тестов вам станет очевидно, какой из вариантов является предпочтительным. И использовать для этого вы будете научный подход, а не интуицию и смекалку.

Этот инструмент развития бизнеса — один из самых эффективных.

Давайте разберем подробно, в чем его суть и как его можно начать применять на практике.

Вы можете подумать, что только через А/Б тестирование вы можете получить удовлетворительный результат. Что это золотая дорога к успеху.

Однако правда в том, что этот инструмент — не решение всех ваших проблем относительно развития продукта и его позиционирования. А/Б тестирование не позволит вам найти соответствие продукта и рынка (product/market fit). Это необходимо сделать вам, изучая и общаясь с клиентами.

Если ваше видение продукта и ценностное предложение не соответствует языку и/или потребностям и задачам клиента — то вы все равно не будете получать достаточное количество продаж.

Возможно, у вас будет несколько гипотез о том, как вы можете позиционировать продукт — тогда вы можете провести А/Б тест и увидеть статистические различия. Но сами гипотезы о развитии продукта не содержатся в этом инструменте — он только помогает увидеть, какие из них реально работают на статистически значимом уровне.

Это значит, что вам придется думать о том, что конкретно вы можете развивать в продукте до того, как вы начнете делать тесты. Вам нужно понять, что на самом деле стоит тестировать.

Вы ведь не хотите тестировать цвет кнопки в то время, когда вы вообще не знаете, чего хотят ваши клиенты, верно? Вы не хотите делать сотни тестов, тратить очень много времени и денег, прежде чем найдете что–то, что действительно интересно людям.

Помните, что клиент в первую очередь покупает ценность, а не выбирает дизайн (только если дизайн не тесно связан с этой ценностью).

Грубо говоря, если ваш продукт — не интересен, клиентам будет плевать, какого цвета у вас кнопка, какой у вашего лендинга шрифт и в каком порядке расположены основные блоки. Они не будут покупать. Не потому что там нет дизайна, а потому что там нет ценности. (Конечно речь не только про продукт как таковой, но и про его позиционирование.)

Вывод здесь очевидный — нет никакого смысла делать А/Б тесты, если вы просто не понимаете, кто ваш клиент и чего он хочет. Сначала решите эту задачу. Здесь могут помочь, например, методология Customer Development, фреймворк JTBD, подход Lean Startup и другие продуктовые практики.

Прелесть А/Б тестирования как метода в том, что он достаточно прост, и при этом очень эффективен. Это легкий метод, которым можно очень сильно влиять на прибыль.

Суть А/Б тестирования сводится к тому, что мы сравниваем статистическую эффективность двух элементов относительно друг друга.

Как это выглядит на практике? Давайте рассмотрим это на примере.

Предположим, у нас есть лендинг, который продает продукт потенциальным клиентам, или работает как лид магнит и собирает email или телефоны потенциальных клиентов. Мы уже некоторое время работаем, и у нас есть статистика. Скажем, 10% клиентов делают целевое действие (не важно, что именно).

Как нам сделать эту систему лучше? Как начать получать больше потенциальных клиентов и денег?

А/Б тестирование предполагает, что мы создаем вторую версию страницы, и часть трафика (например, половину) направляем на нее.

Собрав необходимые данные мы можем принять решение. Допустим, что страница А по–прежнему конвертирует 10%. А вот результат страницы Б — 15%. Естественно, логичным будет сделать вариант Б основным, то есть оставить страницу именно в таком формате.

Могут быть и другие результаты от такого сплит–тестирования. В том числе это может быть кратный рост в разы (супер результат!) или ухудшение показателей (в таком случае гипотеза опровергнута, можно тестировать другую).

Естественно, при этом нам нужно учитывать некоторые нюансы.

Например, хорошая конверсия в email или телефоны не предполагает автоматически, что вы получаете больше денег. Предположим, что у нас было более агрессивное ценностное предложение и мы получили хорошую конверсию, но когда клиенты начинают с нами общаться — они только разочаровываются (получают в итоге не то, что ожидали), и только перестают нам доверять. И в результате страница А, которая конвертирует все те же 10% — на самом деле приносит больше денег.

Обычно этот вопрос решается через внедрение сквозной аналитики, когда мы можем прослеживать путь клиента от начала и до покупки (и даже вплоть до повторных покупок).

Давайте помнить о том, что нам нужны в первую очередь покупки, а не конверсия.

Научный подход к изменениям

В современном мире полагаться на предыдущий опыт и интуицию — недостаточно. Кроме того, в некоторых случаях (например — вывод нового продукта на рынок) это невозможно.

В такой ситуации на помощь приходит экспериментальный и научных подход к принятию решений.

Сплит–тестирование — один из лучших конкретных способов реализации этого подхода.

Для того, чтобы принимать решения, вам необходимо опираться на данные. Эти данные не получить иначе, как через тесты. Вы должны понимать, действительно ли ваши нововведения ведут к улучшению показателей — конверсии и продаж.

Выжать максимум из того, что есть

Многие предприниматели гонятся за трафиком. Это и понятно — формулу «больше посетителей = больше денег» никто не отменял.

Однако, не только количество посетителей влияет на прибыль. И с какого–то момента вы все равно начнете упираться в потолок, и наращивать трафик будет значительно сложнее и дороже.

Это значит, что в какой–то момент вам придется перейти с вопроса «Как получить больше посетителей» на вопрос «Как сделать так, чтобы эти посетители были довольны и стали клиентами». Чем больше у вас трафика, тем более вероятно, что вы начнете склоняться ко второму вопросу.

А/Б тестирование как раз помогает решить этот последний вопрос. Оно поможет вам изменить то, как ваш сайт «обходится» с имеющимся трафиком. Оно поможет начать работать над конверсией и поведением тех людей, которые уже обращают на вас внимание.

Снятие рисков при внедрении изменений

Вы улучшаете бизнес, улучшаете дизайн и содержание сайта. К сожалению, всегда есть риск, что такие изменения будут негативными. Вам нужна уверенность в том, что внедряемые изменения не скажутся негативно на прибыли.

Разумеется, проведение А/Б тестов в такой ситуации — лучший вариант.

Вы можете сравнить, какие результаты показывает новый вариант по сравнению с текущим. Причем это можно сделать безопасно — на небольшой аудитории.

Такая стратегия поможет вам предотвратить ситуации, когда вводимые изменения разрушают сложившиеся бизнес процессы.

Культура экспериментов и совершенствования

В целом, ценность сплит–тестирования можно сравнить с ценностью тестирования и экспериментов в целом. И ответ будет один — непрерывное совершенствование.

В современном мире очень хорошо, если у вас в компании и в команде внедрена культура экспериментов и непрерывного совершенствования. Что вы мыслите не в стиле «все работает вот так, я это знаю, все будет как я сказал», а в стиле «здесь большая неопределенность, но мы можем кое–что сделать, чтобы посмотреть как все работает».

Изучение, исследование, сбор данных — должны стать не просто рутинными задачами и неизбежным злом, а ценностями.

Суть непрерывного совершенствования хорошо отражена в цикле Деминга (или цикле PDCA):

• Планируем

• Делаем

• Проверяем (или измеряем)

• Изменяем

Если вы хотите внедрить такой подход к работе в вашем бизнесе, то первым хорошим шагом будет внедрение А/Б тестирования.

Потому что это метод основанный на данных, а не на фантазиях (здесь есть, что измерять). А также здесь относительно легко провести эксперимент, принять решение о том, что лучше для бизнеса, и внедрить изменения.

Рост бизнеса и закрепление позиций

У вас может быть бизнес с любыми метриками, с любым уровнем продаж, он может быть в любой нише. Но цель всегда — это развитие.

Тот, кто не развивается — проиграет. Сегодня конкуренты возникают очень быстро. И растут они тоже очень быстро. Если ваши конкуренты будут регулярно внедрять улучшения на основе анализа данных, а вы этого делать не будете, то рано или поздно вы начнете терять позиции.

Но, конечно, этот метод существует не только для защиты. Оно также для развития и роста.

А/Б тесты можно делать очень часто и много, если у вас достаточное количество трафика. Представьте, что вы будете через тесты каждую неделю расти хотя бы на 1%. Сколько вы выиграете? И сколько вы потенциально проиграете, если не будете так расти?

Понятно, что все познается в сравнении. Однако в случае с тестами вы на самом деле не можете знать, какой будет результат. И очень возможно, что он будет более значимый, чем тот, который вы ожидаете.

Например, вы можете думать, что тесты в лучшем случае поднимут вам конверсию на 5-10%, а по–факту может выясниться, что наблюдается рост в два раза. Увы, пока не сделаешь — не узнаешь. В этом суть экспериментов и тестов. Из–за этого может быть сложно оценить значимость таких активностей наряду с другими.

Однако, мы говорим про рост. И значимость этого процесса невозможно переоценить. Значит, вам нужно будет делать тесты в любом случае. Вопрос лишь в том, как часто и как много.

А/Б тестирование — это скорее циклический процесс, нежели единоразовое действие.

Потому что как только вы завершите один тест, вы можете сразу начать новый. И это не особо зависит от результата теста: если новый вариант получился неудачным, то вы можете пробовать другие варианты; если новый вариант получился хорошим, вы можете просто использовать его, и все равно пробовать новые варианты, которые могут сработать еще лучше.

Давайте разберем каждый из этапов этого цикла.

• Сбор данных. Прежде чем приступить к тесту, вам понадобится собрать уже имеющиеся данные.

Зачем это нужно? Вариантов того, что вы можете тестировать — бесчисленное множество. Вам нужно понимание того, где тестирование нужно в первую очередь.

Имеющиеся данные и анализ помогут вам определить области, которые требуют наибольшего внимания. Скорее всего это будут самые «узкие» места ваших бизнес процессов — те, которые наиболее значимо влияют на прибыль.

• Установление целей. Вам нужно определить, какие метрики будут определять успешность разных версий в ваших тестах.

Уровень глубины целей может быть любым — от частоты нажатия на кнопку, до получения необходимых данных (телефон, email), или даже до итоговой покупки.

• Сформулируйте гипотезы. Сделайте мозговой штурм и набросайте варианты того, что на ваш взгляд можно изменить и как именно это поможет.

Хорошо, если вы будете это делать с командой — в одиночку вы можете не увидеть всей картины, или упускать какие–то нюансы.

• Сделайте ранжирование — от самых перспективных до самых сомнительных гипотез. Доверяйте опыту и интуиции. Это нормально, что вы не обладаете достоверными знаниями — именно поэтому нам и нужны тесты.

• Создайте варианты. На этом этапе вам уже нужно непосредственно создать вариант «Б» (тестовый), эффективность которого вы будете проверять в сравнении с вашим оригинальным/контрольным вариантом.

• Запустите сплит–тестирование. Направляйте на тестовый вариант (вариант «Б») ровно столько трафика, сколько нужно для принятия решения, т.е. для определения статистической значимости.

На этом этапе часть аудитории случайным образом направляется на ваши варианты (тестовый и контрольный), а вы отслеживаете данные и поведение пользователей.

• Анализ результатов и принятие решения. С принятием решения об изменении теперь не должно быть проблем. Вы увидите тот вариант, который работает лучше.

Если новый вариант эффективнее достигает ваши цели — принимайте поздравления! Время сделать этот вариант основным и, таким образом, немного (или много?) улучшить ваш бизнес.

• Выводы. Этим отдельным пунктом мы хотим подчеркнуть, что вы можете сделать некоторые заключения на основе тех результатов, которые вы получили.

Возможно ли, что это поможет вам в других областях? Например, если вы тестировали страницу сайта, может ли похожее изменение сработать на других страницах сайта?

Помните о том, что даже если это сработало в одном месте — совсем не факт, что так будет везде. Поэтому лучше все равно запустить тесты и проверить эти новые гипотезы.

Главное — что вы получили новые данные, и на их основе можете выдвигать новые, более точные предположения.

Обычно об А/Б тестировании говорят в контексте работы над сайтом.

Вот, с чем можно делать эксперименты на сайтах:

• Разные ценностные предложения — что именно вы предлагаете, какую ценность получит клиент, какой должен быть результат от целевого действия и т.д.

• Призывы к действию — как конкретно вы призываете к целевому действию, как позиционируете свое предложение, какой эмоциональный характер у вашего предложения

• Дизайн элементов — изображения, фон, форма и цвет элементов и т.д. (удивительно, но да, даже цвет кнопки иногда может значительно изменить конверсию)

Однако не только на сайте можно использовать этот метод.

Вы можете использовать его в вашем email маркетинге. Можно отсылать письма с разным содержанием и дизайном и смотреть, какой контент лучше работает на достижение ваших бизнес целей.

Другое применение — тестирование различных рекламных объявлений. Вы можете проверить, насколько различается эффективность разных заголовков, дизайнов, картинок, видео. В некоторых рекламных сетях уже по–умолчанию заложена возможность проведения сплит–тестов, потому что все знают, насколько это важно.

Таким образом, тесты можно делать на самых разных уровнях.

В идеале через А/Б тестирование проходит каждый элемент бизнес процессов. Но идеал часто недостижим, поэтому приходится довольствоваться просто тем, что является здесь–и–сейчас наиболее важным для результата — прибыли.

В идеале у вас должно тестироваться все. Но идеал недостижим. Соответственно, встает вопрос — на чем фокусироваться в первую очередь?

В результате А/Б тестирования у вас растут конверсия и продажи. Это значит, что вам нужно применять этот метод в первую очередь те страницы вашей воронки продаж, которые являются наиболее значимыми с точки зрения принесения вам денег.

Обычно это продуктовые страницы / лендинги.

При этом держите в уме, что для теста вам понадобится статистическая значимость.

Нет никакого смысла тестировать страницу, на которой всего 5 показов в месяц, даже если именно на ней находится заветное слово «Купить», которое принесет вам деньги. В таком случае лучше сначала поработать над тестированием тех элементов, которые приносят вам трафик на эту страницу.

В то же время помните, что совсем не обязательно концентрироваться только на небольшом количестве элементов. Вы можете тестировать сразу несколько страниц, элементов дизайна и т.д. При этом тестировать нужно не все подряд, а только те элементы и то содержание, в отношении которых у вас есть гипотезы: «Это может работать лучше!»

Выше мы разобрали процесс тестирования. Давайте разберем некоторые вопросы касающиеся процесса проведения тестов.

Сколько делать тестов параллельно

Стоит ли менять сразу много элементов, или вводить изменения постепенно?

Чтобы вы понимали, что работает лучше, вам нужно чтобы основная часть элементов оставалась нетронутой. Только так вы поймете, что именно то конкретное небольшое изменение, которое вы внедрили, повлияло на результат.

Однако, не всегда движение через минимальные изменения будет лучшей стратегией.

Возможно, вам необходимо изменить всю страницу целиком — включая основной макет, дизайн и предложение. Такие «большие» изменения можно делать на начальных этапах, когда вы только ищите, какие элементы работают лучше всего.

Нет никакого смысла смотреть на эффективность кнопки, если в целом от вашего лендинга конверсии почти нет, верно?

В такой ситуации вам нужно сначала найти тот формат ценностного предложения, который подходит вашей целевой аудитории, а потом уже можно «докручивать» и совершенствовать эту уже достаточно хорошо работающую часть сайта.

Как определить значимость результатов

Для определения значимости используются классические инструменты для t–критерий Стьюдента.

Насколько часто на практике следует использовать критерий?

Иногда это необязательно. Если вы просто видите, что конверсия увеличилась в два раза — вам не нужны никакие дополнительные проверки. Потому что у вас есть уверенность, что это лучше.

Но иногда изменения могут быть более незаметными. И это значит, что они могут быть просто случайными — потому что вы не «выдержали» тест достаточно долго, то есть не собрали достаточное количество данных. В таком случае проверка статистической гипотезы может помочь принять решение не наобум, а на основе данных.