Проект написан на Python + используется A/B тестирование.
Менеджер, занимающийся разработкой новых пользовательских инструментов мобильного приложения, попросил сделать аналитический срез по продуктовым метрикам (и не только). Цель проекта - изучить данные мобильного приложения и провести ряд исследований: проанализировать полученный retention, выбрать наилучшее акционное предложение исходя из результатов А/В тестирования и выбрать подходящие продуктовые метрики.
Проект разбит на несколько этапов:
- Подсчет Retention и построение когортного анализа на его основе.
Создаю график retention с помощью когортного анализа.
- Провести A/B тестирование акционного предложения и сделать выводы о том, какое акционное предложение является наилучшим вариантом.
Подсчитал ключевые продуктовые метрики, такие как ARPU, ARPPU, CR. Периодическое сравнение ARPU и ARPPU помогает понять ситуацию с доходом компании. Чем больше разница показателей, тем меньше прибыль. Далее составил нулевую и альтернативную гипотезу по поводу акционного предложеия и проверил дисперсии на гомогенность.
- Проанализировать метрики и решить, какие из них лучше применять в новых тематических событиях мобильного приложения.
Я рассмотрел ряд продуктовых метрик, с помощью которых можно оценить результат прошедшего тематического события в игре:
- Метрики привлечения
Предположим, у компании есть маркетинговый отдел, который занимается рекламной кампанией нового ивента. Это можно использовать, чтобы определить кол-во людей, которые приняли участие в ивенте (CR, ARPU)
- Метрики вовлеченности
Эти метрики помогают измерить вовлеченность пользователей в продукт (MAU, Retention Rate);
- Метрики производительности
Эти метрики ничто иное, как показатели эффективности и используются для измерения поведения, деятельности и результативности бизнеса. Учитывая, что у нас, как у бизнеса есть задача по расширению аудитории, важно учитывать ряд технических метрик (App Load Time)
Результат и рекомендации:
По результатам тепловой карты когортного анализа, можно сделать вывод, что retention в приложении низкий. Для выявления причин низкого retention может понадобиться дополнительное исследование продукта, дать точный ответ невозможно. Для повышения уровня retention необходимо после проведения дополнительного исследования продукта, разработать план, предполагающий:
- Составление PMF и нахождение новых и эффективных PMC (product market channel);
- Выявление неэффективных PMC и переорганизация ресурсов, которые шли на их содержаие.
При подготовке материалов для проведения А/B тестирования, я выяснил, что std (стандартное отклонение) и max (максимальная сумма покупки от пользователя) в разных группах различаются. Для качественного А/B теста необходимо, чтобы все показатели пользователей были похожими. Статистически значимые значения есть только в CR, даже не смотря на то, что ARPU в тестовой группе был на 5% больше. Учитывая, все вышеперечисленное и плюс ситуацию с выбросом данных, которые необходимо проанализировать дополнительно и узнать их причину - акционные предложения лучше не вводить, так как контрольная группа давала более положительные результаты в рамках исследования.
Были выбраны ряд продуктовых метрик, необходимых для анализа последнего тематического события в мобильном приложении.