Изучите ключевые различия между корреляцией и причинностью, чтобы лучше понимать взаимосвязи в данных и избегать распространенных ошибок в анализе.

Корреляция случайная взаимосвязь двух факторов, или связь через третий фактор. Причинность — это прямая взаимосвязь одного фактора с другим. Принцип причинности позволяет принимать решения на основе данных.

Причинность основывается на реальной связи, а корреляция — лишь на гипотетической. Опираться на одну лишь корреляцию может быть опасно и не позволяет принимать правильные решения.

Корреляцию необходимо доказать и обосновать, чтобы стала очевидной причинно–следовенная связь. Если это невозможно, то нужно относиться к такой связи лишь как к гипотезе.

Хотя причинность и корреляция могут существовать одновременно, корреляция не подразумевает причинности.

Корреляция и причинность могут показаться обманчиво похожими. Но понимание различий между ними может стать решающим фактором, чтобы грамотно расставить приоритеты между бесполезной тратой усилий на ненужные функции и созданием продукта, о котором ваши клиенты не будут переставать мечтать.

В этой части мы сосредоточимся на корреляции и причинно–следственной связи, поскольку это относится конкретно к созданию цифровых продуктов и пониманию поведения пользователей. Это будет полезно менеджерам по продуктам, специалистам по анализу данных и аналитикам. Поможет сформировать правильные представления о развитии продукта, например, таких, как: влияние определенных функций на удержание клиентов и процесс взаимодействия с ними.

После прочтения этого текста вы будете:

• знать ключевые различия между корреляцией и причинно–следственной связью;

• понимать основные различия между корреляцией и причинно–следственной связью;

• иметь два надежных решения, которые ваша команда сможет использовать при проверке причинно–следственной связи.

Несмотря на то, что причинность и корреляция могут существовать одновременно, корреляция не подразумевает причинности. Причинность явно применима к случаям, когда действие A вызывает результат B. С другой стороны, корреляция — это просто взаимодействие. Действие A относится к действию B, но одно событие не обязательно влечет за собой другое событие.

Корреляцию и причинность часто путают, потому что человеческий разум любит находить закономерности, даже когда их нет. Мы часто применяем эти паттерны, когда две переменные оказываются настолько тесно связанными, что одна зависит от другой. Это подразумевает причинно–следственную связь, в которой зависимое событие является результатом независимого события.

При этом, мы не можем просто подразумевать причинность, даже если видим два события, происходящих, казалось бы, вместе, перед нашими глазами. Во–первых, наши наблюдения носят абсолютно анекдотичный характер. Во–вторых, существует много других возможностей для ассоциации, в том числе:

• Верно обратное: B на самом деле вызывает A;

• Оба действительно коррелируют, но есть что–то еще;

• A и B коррелируют, но на самом деле — они вызваны C;

• Есть еще одна переменная: A действительно вызывает B — до тех пор, пока происходит D;

• Происходит цепная реакция: A вызывает E, что приводит E к причине B (но вашими глазами вы видели только то, что A вызывает B).

Причинно–следственные связи не происходят случайно.

Может возникнуть соблазн связать две переменные как «причину и следствие». Но если делать это без подтверждения причинности и при в надежном анализе, процесс приведет к обширной проверке соотношения между зависимой и независимой переменными.

Ложноположительный эффект – явление, где причинно–следственная связь кажется существующей, но на самом деле ее нет. Это может произойти, если вы не будете тщательно проверять связь между зависимой и независимой переменными.

Ложноположительные данные являются проблемой при создании информации о продукте, поскольку без тщательного тестирования вы рискуете в дальнейшем принимать важные решения, относящиеся к продукту, на основании неверных сведений о поведении пользователя.

Это может ввести вас в заблуждение, создав иллюзию того, что вы понимаете связь между важными результатами и поведением пользователей.

Например, вы можете думать, что знаете, какое конкретное событие приводит к долгосрочному удержанию пользователя, но без тщательного тестирования вы рискуете принять важные решения в отношении продукта, полагаясь на неверные данные о поведении пользователя.

Проведите надежные эксперименты для определения причинно–следственной связи

Как только вы установите корреляцию, вы сможете проверить причинно–следственную связь. Сделать это можно, проведя тесты, которые «проверяют другие переменные и выявляют разницу».

Два примера таких эксперимента или анализа, которые вы можете использовать для выявления причинно–следственной связи с вашим продуктом:

• Проверка гипотез;

• A/B/…-n эксперименты.

Самое простое тестирование гипотезы будет включать: H0 (нулевую гипотезу) и H1 (вашу основную гипотезу). Вы также можете иметь вторичную гипотезу, третичную гипотезу и так далее.

Нулевая гипотеза является противоположностью вашей основной гипотезе. Почему? Пока вы не можете доказать свою основную гипотезу со 100% уверенностью (самое близкое, что вы можете получить, — это 99%), вы можете опровергнуть свою нулевую гипотезу.

Основная гипотеза указывает на причинно–следственную связь, которую вы исследуете, и должна распознавать независимую переменную и зависимую переменную.

Лучше всего – это для начала создать свой H1, а затем определить его противоположность и использовать ее для вашего H0. Ваш H1 должен определить соотношение, которое вы ожидаете между независимыми и зависимыми переменными.

Итак, если мы используем предыдущий пример влияния социальных функций на удержание внутри приложения, ваша независимая переменная будет присоединяться к «сообществам», а ваша зависимая переменная будет инструментом сохранения.

Итак, ваша гипотеза может быть такой:

H1: если пользователь присоединяется к «сообществу» в рамках нашего продукта в первый месяц, то он будет оставаться клиентом более одного года

Затем отрицайте H1, чтобы сгенерировать нулевую гипотезу:

H0: нет никакой связи между присоединением к сообществу в приложении и удержанием пользователя

Цель заключается в том, чтобы наблюдать любое значимое различие между вашими гипотезами. Если вы можете отклонить нулевую гипотезу со статистической значимостью (в идеале с уверенностью не менее 95%), вы становитесь ближе к пониманию взаимосвязи между независимыми и зависимыми переменными.

В приведенном выше примере, если вы можете отклонить нулевую гипотезу, обнаружив, что присоединение к сообществу привело к более высоким коэффициентам сохранения (с поправкой на переменные, которые могут повлиять на ваши результаты), то вы, вероятно, можете заключить, что существует некоторая связь между «сообществами» и удержанием пользователей.

Чтобы проверить эту гипотезу, создайте уравнение, которое будет точно отражать связь между ожидаемой причиной (независимая переменная) и следствием (переменная результата). Если ваша модель позволяет вам добавить значение для вашей переменной и последовательно возвращать результат, который отражает фактические наблюдаемые данные, вы, вероятно, к чему–то пришли.

Проверка гипотезы полезна, когда вы пытаетесь определить, действительно ли существует взаимосвязь между двумя переменными, а не полагаетесь на несуразные доказательства. Вы можете посмотреть историю собранных данных, чтобы выполнить продольный анализ, который рассматривает изменения с течением времени.

Например, вы можете проверить, являются ли первые пользователи с момента запуска вашего продукта крупнейшими промоутерами. Вы можете просмотреть паттерны, а также сравнить эту связь с работой продукта с течением времени.

Или можно запустить перекрестный анализ, который анализирует общую картину.

Это полезно, когда вы смотрите на последствия конкретного воздействия и результата, а не на изменения тенденций в течении определенного периода. В качестве примера можно изучить взаимосвязь между рекламными акциями, связанными с праздником, и количеством продаж.

В качестве альтернативы, A/B/n -тестирование может привести вас от корреляции к причинно–следственной связи. Посмотрите на каждую из ваших переменных, измените одну и посмотрите, что произойдет. Если ваш результат постоянно меняется (с той же тенденцией), вы нашли переменную, которая имеет значение.

Эндрю Чен говорит об этом так: «после того, как вы нашли модель, которая работает в вашем случае, следующий шаг – это попробовать проверить ее. Сделайте что–то, что определяет приоритет входной переменной и увеличивает его, возможно, за счет чего–то еще».

Он продолжает: «посмотрите, будут ли эти пользователи в результате более успешным. Если вы видите большую разницу при измерении вашего успеха, то вы к чему–то пришли. Если же нет, то, возможно, это не очень хорошая модель».

Когда речь заходит о том, что присоединение к «сообществам» приводит к повышению коэффициента сохранения, необходимо исключить все другие переменные, которые могут повлиять на результат.

Например, пользователи могли опираться на другой фактор или причину, что в конечном итоге и повлияло на процент сохранения.

Чтобы проверить наличие причинно–следственной связи, необходимо найти прямую связь между пользователями, присоединяющимися к сообществам, и теми, кто будет использовать ваше приложение в долгосрочной перспективе.

Начните с притока новых пользователей. Создайте возможность выбора для следующих 1000-и пользователей, которые зарегистрируются, а затем разделите их на две группы. Половина будет вынуждена присоединиться к «сообществам», когда они впервые зарегистрируются, а другая половина может регистрироваться без присоединения к «сообществу».

Проведите эксперимент в течение 30-ти дней, а затем сравните показатели сохранения между двумя группами.

Если вы обнаружите, что группа, которая была вынуждена присоединиться к сообществам, имеет более высокий уровень сохранения, то у вас есть доказательства, необходимые для подтверждения причинно–следственной связи между присоединением к «сообществам» и сохранением клиентов. Это соотношение, вероятно, стоит анализировать и дальше, чтобы понять, почему «сообщества» могут сохранять пользователей.

Вы не будете уверены во взаимосвязи, пока не выполните эти эксперименты.

A/B/n или сплит–тестирование, идеально подходит для сравнения влияния различных факторов (это может быть акция, функция продукта или стратегия контента).

Например, сплит–тест притока пользователей вашего продукта может сравнить эффективность различных стратегий, на основе определенных данных, включая:

• Копирование вариаций;

• Различные графики;

• Использование стороннего приложения для автоматического распознавания имени и компании ваших пользователей;

• Уменьшение количества полей в форме регистрации (если она у вас есть).

После запуска нескольких вариантов адаптации продукта вы сможете посмотреть на результаты, чтобы сравнить такие показатели, как: коэффициент отсева, конверсию и даже сохранение.

Действуйте, основываясь на правильных корреляциях, для устойчивого роста продукта

Мы всегда ищем закономерности вокруг нас, потому наша цель по умолчанию — быть в готовыми объяснить все, что мы видим. Однако, если причинность не может быть четко определена, следует предположить, что мы видим только корреляцию.

События, которые кажутся связанными, если придерживаться здравого смысла, не могут рассматриваться как причинные, если вы не можете доказать их четкую и прямую связь.

Хотя причинность и корреляция могут существовать одновременно, корреляция не подразумевает причинности.

Чем более опытным вы становитесь в определении истинных корреляций внутри вашего продукта, тем лучше вы будете расставлять приоритеты в ваших усилиях, направленных на вовлечение и удержание пользователей.