Retention 30 дня что это
Блог об аналитике, визуализации данных, data science и BI
Дашборд первых 8 месяцев жизни малыша
Анализ рынка вакансий аналитики и BI: дашборд в Tableau
Анализ альбомов Земфиры: дашборд в Tableau
Гайд по современным BI-системам
Как посчитать Retention?
В этой заметке разберём как правильно построить отчет по Retention с использованием Redash и языка SQL.
Для начала, в двух словах, что это за метрика Retention rate, почему она важна, какой бывает и каким образом считается.
Retention rate
Метрика Retention rate довольно широко распространена и особенно известна в мобильной индустрии, поскольку позволяет понять насколько хорошо продукт вовлекает пользователей в ежедневное использование. Вспомним (или узнаем) как рассчитывается Retention:
Retention дня X — это N% процентов пользователей, которые вернутся к продукту в день X. Иными словами, если в какой-то конкретный день (день 0) пришло 100 новых пользователей, а на 1-ый день вернулось 15, то Retention 1-го дня составит 15 / 100 = 15%.
Чаще всего выделяют Retention дней 1, 3, 7 и 30 как наиболее описательные метрики продукта, однако полезно в целом рассматривать кривую Retention и делать выводы исходя из нее.
Кривая retention
В конечном итоге нас интересует построение такой кривой, которая показывает удержание пользователей с 0-го дня до 30-го.
Rolling Retention (RR)
Кроме классического Retention rate выделяют также Rolling Retention (далее RR). При расчете Rolling Retention помимо дня X учитываются также все последующие дни. Таким образом RR 1-го дня — количество пользователей, которые вернулись в 1-ый и последующие дни.
Сравним Retention и Rolling Retention 10-го дня:
Retention10 — количество пользователей, вернувшихся в 10-ый день / количество пользователей, установивших приложение 10 дней назад * 100%.
Rolling Retention10 — количество пользователей, вернувшихся в 10-ый день или позже / количество пользователей, установивших приложение 10 дней назад * 100%.
Гранулярность (retention временных отрезков)
В некоторых отраслях и соответствующих задачах полезно понимать Retention конкретного дня (чаще всего в мобильной индустрии), в других случаях полезно понимать удержание пользователя на разных временных интервалах: например, недельные отрезки или месячные (часто полезно в e-commerce, ретейле).
Как построить Retention отчет на языке SQL?
Выше мы разобрали как посчитать Retention в формулах. Теперь приложим это к языку SQL.
Допустим, что у нас есть две таблицы: user — храним данные об идентификаторах пользователей и мета-информацию, client_session — информация о посещениях пользователями мобильного приложения.
В запросе будут фигурировать только две эти таблицы, поэтому вы с легкостью сможете адаптировать запрос под себя.
примечание: в рамках данного кода я использую Impala в качестве СУБД.
Собираем размер когорт
Разберем этот довольно несложный запрос: по каждому дню мы считаем количество уникальных пользователей для отрезка [60 дней назад; 31 день назад].
Чтобы не лезть в документацию: команда ndv() в Impala аналог команды count(distinct).
Считаем количество вернувшихся пользователей по каждой когорте
В этом запросе ключевая часть содержится в команде datediff: теперь мы считаем для каждой когорты и для каждого datediff количество уникальных пользователей все той же командой ndv() (фактически, количество пользователей которые вернулись в дни от 0-го до 30-го).
Отлично, теперь у нас есть размер когорт и количество вернувшихся пользователей
Собираем все вместе
Мы получили запрос, который для каждой когорты считает Retention, в итоге результат можно отобразить в таком виде:
Построение единственной кривой Retention
Несколько модифицируем наш запрос и получим требуемые данные для построения одной кривой Retention:
Теперь у нас для каждого дня посчитан средний по всем когортам Retention rate.
Retention 101: все, что нужно знать об удержании пользователей в приложении
Что такое Retention
Retention — коэффициент удержания пользователей. Он показывает «возвращаемость» клиентов в приложение за определенный период после установки. Это одна из главных метрик мобильного маркетинга. Retention показывает, есть ли проблемы с вовлечением новых пользователей. И помогает спрогнозировать, будет ли ваш проект успешным в перспективе.
Как считать Retention
Retention рассчитывается как отношение вернувшихся в приложение пользователей к числу установивших его в определённую дату.
Пример: вы хотите посмотреть, как часто первая неделя становится для ваших клиентов последней. Для этого: задаете Retention за 7 дней и выбираете дату, с которой следует начать отсчет. Система смотрит, сколько новых пользователей зашло к вам в этот день. Допустим, приложение установили 200 человек, а через неделю из них зашли 50 человек. Получается, на 7-й день ваш Retention = 50/200 = 0,25 или 25% (что на самом деле не так уж и плохо).
Почему нужно знать свой Retention
1. Определение эффективности рекламных кампаний.
Показатель Retention незаменим для определения эффективности вашей рекламы. Многие рекламодатели смотрят в первую очередь на количество установок. Так как считают, что чем больше пользователей загружает их к себе на девайс, тем успешнее идет продвижение. Но, на самом деле, повышение числа инсталляций не так важно, как повышение Retention, особенно на первых этапах жизненного цикла продукта. Если у вас не платное приложение, то пользователь, который зашел один раз и больше не возвращался, не несет большой ценности. Намного важнее привлекать тех, кто останется с вами и через неделю, и через месяц.
Retention демонстрирует качество источника трафика и позволяет более грамотно настроить рекламные кампании, чтобы получать больше активных пользователей.
2. Вычисление фрода.
Retention позволяет определять фрод. Боты и кликовые фермы очень хорошо научились подделывать установки. Но не очень утруждают себя имитацией активности реальных пользователей. Если «возвращаемость» аудитории из определенного канала в несколько раз ниже, чем у клиентов из других источников, то это повод внимательнее присмотреться к источнику трафика.
Подробнее о том, как определить мошенническую активность, мы писали здесь: «Что такое фрод, и как его вычислить с помощью трекера».
3. Выявление ошибок и багов в продукте.
Метрика Retention помогает обнаружить факторы, мешающие пользователям. Вам нужны пользователи, которые установили приложение и зашли в него, но довольно быстро отказались от его использования (1-дневный или 7-дневный Retention). Если вы видите чересчур низкие значения, то это говорит о том, что интерес был, но что-то внутри приложения не зацепило. Либо пользователя оттолкнул интерфейс, либо он наткнулся на баг.
Чтобы понять более детально, удобно сравнивать метрики Retention для разных когорт, проводить A/B-тестирование. Например, можно сравнить поведение обычных пользователей и тех людей, которые не видели туториала или работали с предыдущей версией приложения. И, конечно, за изменением Retention стоит внимательно следить каждый раз, когда вы выкатываете свежий релиз. Если показатель удержания пользователей внезапно снизился, то это значит, что в новой версии есть баги или ошибки.
4. Проверка качества работы обратной связи.
Быстрое отрабатывание баг-репортов и внедрение широко запрашиваемых фич, как правило, формируют лояльность клиентов и, повышают Retention. И наоборот — если продукт плохо отрабатывает фидбек, то люди устают ждать улучшений и уходят.
Если ваш 28-дневный Retention оставляет желать лучшего (заметно ниже 6%), то, возможно, в продукте есть что-то, что мешает пользователям. Можно внедрить баг-репорты внутри приложения, проанализировать отзывы в магазинах или попросить у пользователей поделиться их мнением через социальные сети.
5. Проверка несоответствия user intent или плохого нейминга.
Возможно, ваш продукт неправильно назван. Или его название значит что-то другое на одном из языков. Может быть, приложение стоит не совсем в той категории. Люди ищут трекер шагов, а попадают на трекер велосипеда или трекер привычек. В таком случае 1-дневный Retention будет аномально низким. Если он ниже 20%, то таргетинг не работает. К вам приходят «не ваши» пользователи. Хорошим 1-дневным Retention считается 26% и выше.
Чтобы улучшить Retention первого дня, нужно провести глубокий анализ первой сессии и понять, погружается ли пользователь в приложение, цепляет ли оно его. Или от вашего продукта ждут чего-то другого.
На какие значения Retention стоит ориентироваться
По нашему опыту, многие разработчики, особенно начинающие, переоценивают возможности своего приложения по удержанию пользователей. Думают, что 60% установивших станут активными пользователями, а 40% — платящими клиентами. И разочаровываются, если показатели ближе к 10-20%. Думают, что с их приложением что-то не так.
Чтобы вы не гадали, выходят ли показатели вашего приложения за рамки нормы, мы провели небольшое исследование. Проанализировали данные нескольких тысяч приложений, использующих MyTracker, и проверили поведение пользователей на базе 556 миллионов установок. Получились средние по индустрии показатели. На них можно ориентироваться, чтобы понять, обстоят ли у вас дела лучше или хуже, чем у других.
А такую картину мы видим по разным категориям приложений:
Rolling Retention: что это за метрика, и почему ее нужно знать
Что такое Rolling Retention?
Rolling Retention — это показатель повторяющегося удержания. Он часто используется для оценки качества работы приложения, и его можно встретить в некоторых трекерах.
Эта метрика вычисляется по такой формуле:
Например, повторяющееся удержание 10-го дня на уровне 15% означает, что в игру на десятый день с момента установки или после него суммарно вернулось 15% пользователей.
Отличия между Retention и Rolling Retention
Повторяющееся удержание всегда больше классического, поскольку при его расчете учитываются те пользователи, которые зашли не только в этот конкретный день, но и во все последующие. С течением времени Rolling Retention постепенно убывает.
При этом расчет повторяющегося удержания более сложен для системы. Этот показатель обновляется и пересчитывается каждый день. На него влияет каждый пользователь, решивший, спустя время, снова открыть приложение. К счастью, вопросы постоянного пересчета данных в данном случае берут на себя сервера MyTracker.
Может показаться, что Rolling Retention — более продвинутая и полезная метрика, чем классический Retention. Но и у неё есть недостатки. Например, нельзя сравнивать Rolling Retention за разные даты. Поскольку у более ранней даты показатели всегда будут выше. Кроме того, анализ только повторяющегося удержания может быть обманчив. Его значения всегда выше, чем у простого Retention, и меняются плавно. Даже если в реальности у вас происходит что-то драматическое.
Когда нужно смотреть на Retention, а когда — на Rolling Retention
Стандартный Retention хорошо подойдет в качестве основного показателя возвратов для продуктов с моделью ежедневного пользования: будильника, почты, браузера, погоды, мессенджера, музыкального проигрывателя, казуальных игр. Rolling Retention для них может давать чересчур радужную картину, а вот проседание классического Retention вовремя просигнализирует о проблемах.
В то же время Rolling Retention — очень ценный показатель для оценки того, сколько пользователей не навсегда покинули приложение, а просто не заходят в него по каким-либо причинам. Он особенно полезен для тех продуктов, которыми не пользуются каждый день. Например, специальные утилиты или игры, в которых нужно ждать, пока накопятся необходимые ресурсы.
Отталкиваясь от Rolling Retention, можно еще точнее считать отток (Churn Rate). Поскольку повторяющееся удержание учитывает пользователей, заходивших в течение всего периода. Обратная ему величина демонстрирует, кто не вернулся и на самом деле о вас забыл. Можно увидеть, когда ситуация начала ухудшаться, с точностью до конкретного дня.
В то же время, Rolling Retention подходит в качестве главного ориентира для тех приложений, которые используются довольно редко. Планировщики путешествий, покупка авиабилетов, очистка девайса, вызов такси и так далее. Повторяющееся удержание в этом случае позволит сразу понять, какая доля аудитории не забывает о приложении, несмотря на относительно редкие запуски. При этом классический Retention у таких продуктов может выглядеть слишком пессимистично.
Если же ваше приложение должно использоваться на ежедневной основе, то отслеживание классического Retention подойдет лучше. Если же в него заходят нерегулярно — Rolling Retention даст больше четкой информации о траектории развития событий. Хотя, конечно, для принятия взвешенных решений следует обращать внимание на оба показателя.
Как оценивать свой Retention
Чтобы понимать, насколько хорошо ваше приложение удерживает пользователей, важно видеть не цифры, а тренды. Спросите себя:
Чтобы получить более полную картину качества маркетинга и эффективности приложения, чаще всего измеряют три вида классического Retention Rate: 1-дневный, 7-дневный и 28-дневный.
1-day Retention. Доля пользователей (в %), открывших приложение на следующий день после установки.
Низкое значение этой метрики может говорить о том, что приложение производит плохое первое впечатление. Пользователей в нём определенно что-то не устраивает. Это могут быть, например:
В первой сессии нужно постараться «зацепить» пользователя. Сделать так, чтобы он разобрался в продукте и понял его ценность для себя. Первое впечатление — самое важное. Ведь после первого дня всегда происходит самый большой отток пользователей. Если сократить 1-day Retention, можно значительно повысить количество аудитории в приложении.
Чтобы проверить, что именно отталкивает пользователей в первый же день, можно поставить кастомное событие на прохождение туториала. Или на каждый из этапов туториала. И посмотреть, на каком из них «отваливается» большинство пользователей.
7-day Retention. Доля пользователей, вернувшихся спустя неделю после установки.
Если этот показатель существенно ниже, чем 1-day Retention, и падение у вас больше, чем в среднем по индустрии, то нужно проанализировать, что людей не устраивает после недельного знакомства с приложением. Чаще всего это:
Как вариант — попробуйте пересмотреть подход к use cases. Или почитайте отзывы пользователей: почему так быстро ушли из приложения?
28-day Retention. Доля тех, кто воспользовался приложением на 28-й день после установки. Если даже месяц спустя люди возвращаются к вашему продукту, это говорит о том, что он их «зацепил». Сильное уменьшение значения этой метрики может свидетельствовать о каких-то неявных, но глубоких и стратегических недостатках проекта. Хотя чаще всего проблема банальна:
Помните, что лояльность важна и верные клиенты — гигантское преимущество вашего бизнеса, позволяющее удерживаться на плаву и выстраивать долгосрочную стратегию. Но даже самые лояльные клиенты когда-нибудь уйдут. Поэтому важно работать над привлечением новых пользователей и не забывать про повышение 1-day Retention, поскольку именно там мы все теряем большую часть клиентов.
Как повысить Retention
Существуют сотни способов улучшить «возвращаемость» пользователей. Для начала стоит попробовать включить пуш-нотификации или изменить UX для новичков в приложении. А через неделю посмотреть, в какую сторону изменился показатель. Если после очередного обновления Retention резко пошел вверх или вниз, то это повод задуматься.
Другие распространенные способы повысить Retention:
Подойти к улучшению параметров Retention можно и с другой стороны. Сначала изучить поведение тех, кто лоялен к продукту (откуда они пришли, что и в какой последовательности делают, сколько длятся их сессии, с какими функциями они взаимодействуют). И потом направлять новых пользователей по тому же пути.
Как посмотреть свой Retention в MyTracker
В MyTracker показатель Retention отслеживается очень детально, вплоть до конкретных часов. И не только по установкам, но и по осуществленным атрибуциям.
Параметр очень важен, поэтому у нас есть три способа его просмотра:
1. Оперативные отчеты
Самый быстрый вариант. Можно получить дату по активности пользователей сразу из окна с вашими приложениями. «Приложения» → «Список» → «Оперативные отчеты» → «Возвращаемость». Вы получите график за интересующий вас период с детализацией по дням, неделям или месяцам, который можно скачать в форматах XML и CSV.
2. Конструктор отчетов
Удобно, если вы хотите применить дополнительные настройки, отфильтровать данные или посмотреть в одном окне сразу несколько метрик, а не только коэффициент удержания. Зайдите в «Конструктор отчетов» → «Выбрать из списка» → «Периодические метрики» → «Retention» или «Rolling Retention». Отчеты разных приложений можно сравнивать между собой, а данные, при необходимости, выгружать в Excel.
3. Шаблоны по умолчанию
«Отчёты» → «Шаблоны» → «Retention». Вы получите детальную таблицу за периоды от 1 до 30 дней с информацией о том, как часто пользователи возвращались в приложение, и насколько оно было им интересно.
Хотите узнать, насколько хорошо ваше приложение удерживает пользователей — создайте аккаунт в MyTracker прямо сейчас. Это бесплатно, быстро и не сложно. Начните работу с MyTracker в 3 простых шага!
Главные метрики. Retention
Для того, чтобы проект приносил максимум прибыли, вам нужно привлечь в него как можно большее количество пользователей, которые будут оплачивать доступ к нему или делать покупки во внутриигровом магазине. При этом, аудитория должна быть заинтересованной в том, чтобы возвращаться в продукт как можно чаще и делать это на протяжении как можно более длительного времени. Это и есть удержание пользователя (Retention).
Как считать Retention
Удержание следует считать не в отношении отдельных пользователей, а в отношении целых когорт. Его можно рассчитать для любого дня.
Формула:
Retention N = Количество пользователей, зашедших в день N / Количество пользователей, установивших приложение N дней назад * 100%
То есть, по значению метрики Retention можно определить, какой процент пользователей из когорты (установивших приложение N дней назад) зашло в приложение в день N.
Например, первого января его установило 1020 человек (это наша когорта). Далее количество пользователей сокращается и мы можем по формуле выше сосчитать Retention последующих дней:
День с момента установки
Обычно график удержания выглядит примерно так:
Видно, что самый большой Churn (отток) происходит в первые дни после установки, затем он сокращается, и в проекте остаются лишь наиболее лояльные пользователи.
Retention 1, 7 и 28 дня
Можно определить показатели удержания любого дня, однако для удобства сравнения его считают на 1, 7 и 28 дни.
Идеальной можно считать ситуацию, когда пользователю регулярно требуется ваше приложение, и он открывает его всегда, когда сталкивается с той или иной проблемой. Однако показатели Retention у разных проектов отличаются в зависимости от жанра, к которому они принадлежат. Так, в социальные сети большинство из нас заходит много раз в день, а бронируем отели мы гораздо реже. Как следствие, удержание у этих приложений будет сильно отличаться.
В среднем, хорошими значениями считаются следующие:
D1 Retention: 40%
D7 Retention: 20%
D28 Retention: 10%
Удержание первого дня зависит от первого впечатления пользователя: от соответствия продукта его потребностям, задачам и запросам. Ему следует уделять повышенное внимание, поскольку именно показатель Retention первого дня позволяет делать прогноз на всё последующее время. Если во время Soft Launch D1 Retention оказывается ниже прогнозируемого значения, значит, люди не смогли разобраться в продукте, понять его суть, преимущества и ценность для них, т.е. “активироваться”.
D7 Retention показывает процент пользователей, которых он, в целом, устраивает или нравится, но они ещё не стали ему лояльны.
D28 Retention показывает процент пользователей, которые уже освоили функционал приложения и периодически его используют. Они, скорее всего, уже привыкли к нему и не планируют менять его на что-то другое в ближайшем будущем. Именно эти люди, с высокой вероятностью, будут совершать платежи в вашем продукте.
Расчёт Retention по часам
В системе аналитики devtodev это выглядит следующим образом:
Такую систему расчёта Retention имеет смысл использовать в тех проектах, у которых пользователи рассредоточены по разным часовым поясам.
Данные по удержанию важно сегментировать по различным критериям (стране, платформе и другим). Например, пользователи, пришедшие из разных источников будут иметь разное представление о вашем продукте и разные ожидания от него. Как следствие, их показатели Retention будут отличаться. На основе этих данных можно выявить наиболее эффективный источник трафика и стараться привлекать из него больше пользователей.
На что влияет Retention
Она влияет на размер аудитории. В целом, приток новых пользователей должен быть больше, чем отток.
Показатели этой метрики удобно сравнивать для разных когорт. Например, можно анализировать поведение пользователей после того, как в продукт были внесены изменения.
Как улучшить показатели Retention
В наиболее доступной форме (например, при помощи туториала) доносить до пользователя суть и все преимущества приложения во время самой первой сессии.
Пользователям, которые не возвращаются в проект, напоминать о нём при помощи push-уведомлений, email-рассылок и т.п.
Поддерживать интерес к продукту при помощи бонусов и подарков.
Поддерживать интерес другими способами: заложить в продукт скрытые возможности и контент, который будет со временем открываться при выполнении определённых действий; давать ему новые задания каждый день и т.п.
Давать юзеру ощущение удовлетворения от достижения определенных целей, для чего следует разбить весь его путь на этапы и акцентировать внимание на факте прохождения каждого этапа.
Связать проект с социальными сетями, в которых пользователь сможет взаимодействовать со своими друзьями.
Подойти к улучшению показателей Retention можно и с противоположной стороны: изучить поведение тех, кто лоялен к продукту (что и в какой последовательности они делали, их сессии, как они им пользовались) и направлять новых пользователей тем же путём.
Многоликий Retention rate: N-day Retention, Rolling Retention и другие способы расчета Retention
Retention rate – одна из фундаментальных метрик в работе над продуктом. Мы все используем метрику Retention регулярно, но не все знают, что существует много разных способов расчета Retention. И это очень важно четко понимать, какой именно метод расчета был использован, при обсуждении результатов анализа и принятии решений на основе Retention метрик.
История. Когда я работал в Zeptolab, нам часто писали игровые студии, которые хотели, чтобы Zeptolab выступил в роли паблишера для их игр. Однажды пришло письмо, которое сильно выделялось на фоне остальных. Метрики игры, которую нам предлагали опубликовать, выглядели впечатляюще: Retention 1 дня превышал 55%, Retention 7 дня – 25%.
Мы начали тестировать игру, чтобы понять, в чем секрет. Но быстро стало понятно, что что-то здесь не сходится. Геймлей не был настолько увлекательным, чтобы обеспечить Retention 1 дня > 55%. Мета-игра также не выглядела достаточно глубокой и проработанной, чтобы вытянуть Retention 7 дня при таком геймплее.
Последующее расследование выявило, что под Retention студия имела ввиду не классический Day N Retention rate, а Rolling Retention. Когда мы получили значения классического Day N Retention их игры, то цифры уже не выглядели впечатляющими.
Это лишь один из примеров, как неправильная интерпретация Retention метрики может отправить команду в ложном направлении. В этой статье мы рассмотрим разные ньюансы расчета и интерпретации Retention, и то, как они влияют на итоговые значения метрики и принимаемые решения.
Несколько комментариев к статье:
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Классический Day N retention vs Rolling Retention
Определение классического Day N Retention и Rolling Retention
Классический Day N Retention (далее просто Day N Retention) показывает, какой процент новых пользователей вернулись в продукт в конкретный день с момента прихода.
Rolling Retention показывает, какой процент новых пользователей вернулись в продукт в конкретный день с момента прихода или любой день после него.
Если Retention 2-го дня приложения равен 50%, это значит, что 50% новых пользователей этого приложения возвращаются в него на 2-й день.
Если Rolling Retention 2-го дня приложения равен 50%, это значит, что 50% новых пользователей приложения вернутся в него на 2-й день или позже.
Пример расчета Day N Retention и Rolling Retention для реального продукта
На графике ниже показан Day N Retention и Rolling Retention для реального приложения.
Разница между двумя метриками огромная. Более того, она нарастает по мере того, как мы движемся от 1 к 14 дню.
Представьте, что вы попросили аналитика посчитать Retention нового продукта, а он по какой-то причине посчитал Rolling Retention вместо Day N Retention. В этом случае велик шанс, что вы примите неправильное решение о будущем векторе развития продукта.
Давайте более внимательно посмотрим на отличия между значениями двух метрик:
Главный минус Rolling Retention
Rolling Retention имеет минус, из-за которого я рекомендую его использовать лишь в случаях, когда без него невозможно обойтись.
Проблема этой метрики в том, что она может постоянно меняться. Если какой-то пользователь первый раз вернется в приложение спустя 90 дней, он увеличит Rolling Retention всех предыдущих дней.
При обычном Retention вы знаете точное значение Retention 1-го дня для пользователей, которые пришли в определенный день, уже спустя 24 часа. В случае же Rolling Retention значение для 1-го дня может измениться и 90, и 250 дней спустя.
Поэтому обычный Retention работает намного лучше для задач анализа экспериментов или сравнения версий продуктов. Это не значит, что Rolling Retention – плохая метрика, но при ее использовании надо четко понимать ее физический смысл и особенности ее расчета.
Когда использовать Rolling Retention, а когда N-day Retention
Для подавляющего большинства задач и продуктов N-day (week/month) Retention подходит лучше, чем Rolling Retention.
Но бывают редкие случаи, когда Rolling Retention удобнее. Обычно его применяют для продуктов, которые подразумевают достаточно редкое использование.
Например, если вы хотите проанализировать долгосрочную возвращаемость в приложение для покупки авиабилетов или бронирования отелей, то с этим поможет Rolling Retention.
Rolling Retention позволит ответить на вопрос: «А какая часть пользователей хотя бы раз вернулась в наше приложение после 30 дня?». Но и здесь можно обойтись без Rolling Retention, а следить за обычным месячным Retention, либо же создать квартальный или годичный Retention (за годичным Retention, например, следят в Airbnb).
Теперь вы знаете, что такое Rolling Retention, и чем он отличается от обычного N-day Retention. Если вдруг вы с ним где-то столкнетесь в работе, будете понимать, что означают цифры.
Откуда взялась путаница между N-day Retention и Rolling Retention
На заре мобильной эры популярная система аналитики для мобильных приложений Flurry в отчете Retention показывала не N-day Retention, а Rolling Retention, тем самым создав путаницу между этими двумя метриками в сообществе разработчиков мобильных приложений.
Позже Flurry добавили отчет с классическим Retention, но уже было поздно. Многие стали воспринимать Rolling Retention как дефолтный и единственный способ расчета метрики.
Расчет Retention на основе 24-часовых окон и на основе календарных дней
Как работает расчет Retention на основе 24-часовых окон и на основе календарных дней
Выше мы обсудили различия между Day N Retenion и Rolling Retention. Но есть и другие неочевидные особенности расчета метрики Retention rate.
Например, Day N Retenion можно считать на основе 24-часовых окон, а можно на основе календарных дней. На первый взгляд разница может показаться незначительной, но, как вы увидите дальше, значения метрики Retention сильно отличаются в зависимости от выбранного метода расчета. Различия становятся еще более значительными при расчете недельного или месячного Retention каждым из этих способов.
При расчете на основе 24-часовых окон для конкретного пользователя Retention будет считаться на основе индивидуальных временных интервалов. День 0 конкретного пользователя начинается с момента первого запуска продукта и заканчивается через 24 часа. День 1 начинается спустя 24 часа после первого запуска и заканчивается спустя 48 часов. И так далее. Именно по этим индивидуальным интервалам и будет считаться Retention каждого пользователя, общий Retention потом будет получен с помощью агрегирования значений метрики всех представителей изучаемой когорты.
Пусть Retention 1 дня при расчете на основе 24-часовых окон равен 10% для когорты из 1000 новых пользователей, которые пришли 1 октября. Это значит, что 100 из этих пользователей зашли в приложение между 24 и 48 часом после своего первого запуска. Важно понимать, что временной интервал 1 дня для разных пользователей в данном случае будет индивидуальным.
Когда Retention считается на основе календарных дней, то для всех пользователей, которые пришли в определенный день, окно первого дня при расчете Retention будет одинаковым. Это будет просто следующий календарный день.
Пусть Retention 1 дня при расчете на основе календарных дней равен 10% для когорты из 1000 новых пользователей, которые пришли 1 октября. Это значит, что 100 пользователей из этой когорты запустили приложение 2 октября. Среди них вполне могут быть пользователи, которые впервые открыли приложение 1 октября в 23-50, а потом еще раз в 2 октября в 00-10, то есть спустя 20 минут. При расчете на основе календарных дней такие пользователи засчитается как те, кто вернулся на 1 день.
Подробнее про тонкости расчета Retention на основе 24-часовых окон и календарных дней можно прочитать здесь.
Пример расчета Day N Retention на основе 24-часовых окон и календарных дней
На графике ниже посчитан Day N Retention на основе 24-часовых окон и календарных дней для того же приложения, которое мы рассматривали выше.
Здесь вы вновь можете видеть значительную разницу между значениями Retention метрик, посчитанных двумя способами. В данном случае максимальная разница наблюдается в первые дни и практически пропадает потом.
Retention 1 дня, посчитанный на основе календарных дней, равен 43%. При этом Retention 1 дня, посчитанный на основе 24-часовых окон, составляет лишь 32%.
По мере удаления от первых дней разница между двумя метриками сходит на нет, так как относительная разница между окнами расчета Retention становится все меньше и меньше. Временные окна 30 дня при расчете обоими способами будет примерно совпадать, при этом временные окна 1 дня будет значительно различаться.
Причина значительных различий для первых дней связана со следующим явлением. При расчете на основе календарных дней пользователи имеют больше шансов быть засчитанными как вернувшиеся на 1 день, так как их первый день наступает значительно раньше, чем через 24 часа (тем раньше, чем ближе к концу первого календарного дня они впервые запустили приложение).
Пользователю, который впервые зашел в продукт 1 октября в 23-00, достаточно запустить его хотя бы раз 2 октября, то есть в период с 1 по 25 час с момента своего прихода, чтобы засчитаться вернувшимся на 1 день при методе расчета на основе календарных дней.
При этом для того, чтобы такой пользователь был засчитан вернувшимся на 1 день при расчете Retention на основе 24-часовых окон, ему надо зайти в приложение в период с 23-00 2 октября по 23-00 3 октября. Это значительно более жесткое требование. Оно практически идентично требованию, которое будет предъявлено к этому пользователю, чтобы засчитаться вернувшимся на 2 день при расчете на основе календарных дней.
Почему важно знать, как именно посчитан Retention rate
Мы часто используем Retention метрики, чтобы сравнивать продукты между собой или сравнивать их с рыночными бенчмарками. Так мы осмысляем конкретные значения метрики Retention, понимаем, является ли возвращаемость нашего продукта хорошей или плохой.
Давайте рассмотрим гипотетическую ситуацию. Вы работаете над казуальной мобильной игрой. Вы запустили ее в софт лонч, и через несколько дней посчитали, что Retention 1 дня игры равен 32%.
Вы сходу не можете понять, хорошо это или плохо, и поэтому идете в поисковик и находите отчет Appsflyer с бенчмарками Retention для мобильных игр.
Для попадания в топ 10% казуальных игр Retention 1 дня должен быть более 50.7%. Ваша игра очень далека от этого значения.
Медианное значение Retention 1 дня для казуальных игр составляет 38.8%. Выходит, что с Retention 1 дня на уровне 32% ваша игра находится где-то среди самых слабых продуктов, представленных на рынке.
На основе полученной информации вы закрываете проект как бесперспективный.
Но это ошибочное решение.
Amplitude, аналитическая система, которую вы используете, по умолчанию считает Retention на основе 24-часовых окон. При этом Appsflyer по умолчанию считает Retention на основе календарных дней.
Если пересчитать Retention игры на основе календарных дней в Amplitude, то Retention 1 дня будет уже 43%. Это лучше медианного значения по нише и не так далеко от топ 10% лучших казуальных игр.
Скорее всего, такая трактовка результатов первого запуска изменит решение по поводу будущего игры.
Какой метод расчета Retention rate лучше
На этот вопрос нет однозначного ответа.
Расчет метрики Retention rate на основе 24-часовых окон дает более честный ответ на вопрос о том, как ваш продукт возвращает пользователей. Но такой метод расчета Retention требует больше времени. Вы получите финальное значение метрики для пользователей, которые запустили продукт в конкретный день, лишь спустя 2 календарных дня (48 часов с момента прихода последнего пользователя). При расчете же Retention на основе календарных дней, значение Retention 1 дня будет доступно уже через 24 часа.
Retention на основе календарных дней имеет смысл использовать тогда, когда скорость получения данных критична. Например, для анализа маркетинговых кампаний, где лишние 24 часа неудачной рекламной кампании могут обойтись в значительную сумму. В случаях же, где вы можете подождать или где вы уже работаете с историческими данными, имеет смысл выбрать Retention, посчитанный на основе 24-часовых окон.
Это лишь рекомендации. Вы можете использовать то, что вам нравится больше. Главное, чтобы вы четко понимали, как именно конкретные значения метрики получены, и что они значат.
В заключение
Существует много разных способов расчета Retention. В этой статье мы обсудили две особенности расчета Retention, которые могут повлиять на выводы, но есть и другие более специфичные кейсы.
Ключевая идея статьи в том, что вы должны очень четко понимать, что именно вы называете Retention, когда работаете с этой метрикой. Это позволит избежать ошибок при принятии решений на основе данных по возвращаемости.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Эссе и образовательные симуляторы про продакт-менеджмент, продуктовую аналитику, маркетинг и рост