Метрики DAU и MAU изменчивы. Но при этом не объясняют, из–за чего произошел рост пользователей.
Это был результат PR, когда о приложении упомянули в профильных СМИ?
Или это успешная маркетинговая кампания, которая привлекла много новых пользователей?
Или, напротив, кампания по удержанию «старых» пользователей?
Факторы разные, но почти во всех случаях нельзя рассчитывать на устойчивый и долгосрочный результат.
Полагаться всегда только на метрики DAU и MAU нельзя, бывают случаи, когда они отстают и не показывают реальную картину. Например, вы создали мобильную игру. Особенно пристально следите за метриками ежедневной и ежемесячной активности и удержания пользователей. Вы создали новую функцию. Получили отзывы, что из–за нее стало сложнее проходить уровни. Но решили, что надо провести A / B тест. Он не показал, что новая функция как–то негативно повлияла на приложение. Все вроде бы хорошо, и вы запускаете новую функцию на всех пользователей.
Через какое–то время вы замечаете, что все меньше людей стало доходить до сложных уровней. Однако показатели DAU и MAU держатся на прежнем уровне. Что же происходит?
Дело в том, что пользователям стало сложнее играть в вашу игру, но они все еще пытаются. Однако вскоре им это надоест, и вы увидите, как это повлияет на DAU и MAU. Спойлер: не в лучшую сторону. Метрики пойдут вниз, это означает, что люди стали уходить из игры и больше не возвращаются в нее. Остановить этот процесс будет уже слишком поздно.
Сплит–тестом вы измеряли данные, которые не точно фиксируют поведение пользователей. DAU и MAU были отстающими индикаторами. Измерять же надо было уровни, достигнутые пользователями.