Материал был написан аналитиком devtodev Верой Карповой при участии ведущего аналитика компании Василия Сабирова.

Вера Карпова

Продуктовая аналитика сегодня – обязательная составляющая оперирования фритуплейных игр. Большинство разработчиков уже не представляют себе поддержку проекта без данных о том, как пользователи ведут себя в приложении: когда покупают, где живут, сколько стоят для компании и как уходят.

Но сегодня ее зачастую недостаточно для успешного ведения проекта, в рамках которого необходимо не только постфактум получать данные, но и на их базе с достаточной точностью прогнозировать будущие результаты. По этой причине сейчас активно развивается новый вид анализа данных – предиктивная аналитика (predictive analytics).

Предиктивная аналитика – это прогнозирование на большом количестве данных

Вы можете иметь представление о предиктивной аналитике, если ежедневно, а то и ежечасно, следите за метриками.

Например, вы знаете, что обычно в 12:00 в вашей игре находятся около 20 000 пользователей, а сегодня этот показатель значительно ниже – 15 000.

Отчет по количеству пользователей, находящихся в игре online в определенное время, в сравнении с показателями предыдущего дня.

Глядя на график, вы предполагаете, что через час разница со вчерашним показателем станет еще больше, хотя этого еще не произошло.

Вот этот прогноз как раз и можно назвать предиктивной аналитикой.

Она необходима, поскольку позволяет уже при первых признаках проблемы понять ее масштабы и взяться за ее решение.

Предиктивная аналитика основывается на большом количестве пользовательских данных, собранных за продолжительный период, и более комплексных и точных расчетах.

В основе предиктивной аналитики – построение на имеющейся информации прогноза, так называемой модели, которая как раз и показывает, какой результат ждет продукт при нынешней динамике.

Процесс прогнозирования, главным образом, и сводится к созданию модели.

Как происходит процесс прогнозирования?

Первый этап процесса прогнозирования – сбор данных

Самый первый этап – это сбор данных. Это обычный трекинг событий в приложении и чаще всего он уже реализован, так как используется для расчета и контроля базовых метрик, a/b тестов, сегментирования и продуктового анализа. На основании этих данных за продолжительный период впоследствии будет создана модель.

Второй этап процесса прогнозирования – выбор определяющих метрик

На следующем этапе определяются параметры, которые с большей вероятностью повлияют на прогнозируемое событие. С помощью алгоритмов машинного обучения выявляются закономерности в данных (паттерны). При этом отсеиваются ненужные события и выбросы.

Это наиболее сложный этап, так как, чем больше различных данных в приложении (скорость и количество пройденных уровней, количество игровой валюты, уровень игрока, способ регистрации, количество дней в игре, количество покупок, время первой покупки и т.д), тем сложнее определить, какие именно параметры повлияют на итоговое событие.

Здесь важно не переусердствовать с отсеиванием: чем меньше факторов будет выбрано для прогнозирования определенного события, тем ниже будет точность полученной модели.

Третий этап процесса прогнозирования – создание предиктивной модели

На основании паттернов и исторических данных, собранных ранее, создается предиктивная модель, которая показывает вероятность совершения того или иного события для определенного пользователя.

Результатом всех вышеприведенных манипуляций (а мы помним, что любая аналитика нужна, чтобы делать выводы) может быть, к примеру, следующее утверждение:

Игрок из США с iPhone 7, установивший игру 2 дня назад, совершивший одну покупку на сумму $3 и прошедший 4 уровня, уйдет из игры через 8 дней.

Четвертый этап процесса прогнозирования – проверка прогноза

Далее нужно определить, насколько точна полученная модель. Один из способов это сделать – посчитать отношение спрогнозированных значений к фактическим. Точность равная 100% будет показателем идеальной модели, а близкая к 0%, увы, – случайного предположения.

Чтобы измерить этот показатель, нужно выбрать группу пользователей, сделать для них прогноз и пронаблюдать, насколько реальное поведение этого сегмента совпадёт с составленным для нее прогнозом

Допустим, вы спрогнозировали определенный «retention rate» 7-го дня (процент пользователей, которые зайдут в приложение на 7-й день после установки) для определенного сегмента: «retention rate» 7 дня (прогноз) = 14.4%

Через 7 дней, после получения реальных данных, вы подсчитываете фактическое значение этого показателя: «retention rate» 7 дня (факт) = 15.1%.

Чтобы оценить точность прогноза делим спрогнозированные данные на фактические, получаем 95.4%, это и будет показателем точности модели.

Еще один способ оценить точность – посчитать на сколько процентов отличается спрогнозированное значение от фактического и вычесть из 1 абсолютное значение полученной разности.

1-|((15.1%-14.4%)/15.1%)| = 95.4%.

Если реальность повторяет прогноз или совпадает хотя бы на 95%, то модель можно применять к новым данным; если нет, то стоит еще раз пересмотреть и скорректировать влияющие на прогнозируемое событие факторы.

Когда вы будете удовлетворены точностью полученной модели, можно начинать взаимодействовать с пользователями, меняя их поведение на основании полученных данных.

Зная, какие действия совершают в приложении лояльные пользователи, которые в итоге совершают платеж и надолго остаются в игре, можно “подтолкнуть” другой сегмент игроков, менее склонных к покупке и настроенных покинуть игру, пройти тот же путь, совершить те же самые действия, которые делают пользователя лояльным и вовлеченным.

Важный плюс прогнозирования в том, что вы знаете результат заранее, за несколько дней до того, как случится целевое событие. Это значит, что у вас есть время на то, чтобы удержать пользователя в игре, стимулировать его к покупке или сильнее вовлечь в игровой процесс.

Важно: при построении моделей не нужно забывать про сегментирование, потому что в рамках одной группы пользователей (например, новичков, тех, кто только что установил приложение) обязательно есть пользователи с разными социальными и демографическими характеристиками и разным поведением.

Какие задачи решает предиктивная аналитика?

Цель любой компании – чтобы игрок был доволен и как можно дольше оставался в проекте. Это значит, что результатом использования модели должно стать увеличение LTV пользователя.

На LTV влияет ряд метрик, поведение которых может спрогнозировать с помощью предиктивной аналитики. Речь в том числе о «churn rate», конверсии в покупку и степени вовлеченности.

Предиктивная аналитика помогает определить, когда пользователь собирается уйти из игры

Сегодня самая популярная для прогнозирования метрика – это «churn rate» (коэффициент утечки пользователей, отражает, какое число пользователей уходит из продукта за определенный отрезок времени). Метрика напрямую влияет на выручку – чем дольше пользователь в игре, тем больший доход он принесёт.

График изменения LT и LTV пользователей, после использования модели, относительно текущей ситуации.

Прогноз «churn rate» может показать:

• сколько игрок сделает сессий в игре перед тем, как уйти;
• сколько пользователей и с какой вероятностью покинут игру;
• какие действия в игре совершают пользователи, которые планируют остаться, и те, кто скорее всего уйдет.

Для построения предиктивной модели параметра «churn rate» нужно определить, какие показатели могут повлиять на уход игрока из приложения. Например:

• количество сессий пользователя в игре и их частота;
• продолжительность сессий;
• скорость прохождения игры (количество завершенных уровней, миссий);
• когда была совершена первая покупка относительно первой сессии;
• сколько всего платежей сделал игрок;
• социальная активность (например, участие в чате);
• количество дней до окончания подписки;
• достигнутый уровень игрока с момента первой сессии.

Метрики, влияющие на интересующее событие, и их количество – индивидуальны для каждой игры.

После того, как вы определили факторы, влияющие на результат, можно построить на их основании точную модель и выяснить, когда пользователи собираются покинуть игру, также можно начинать экспериментировать для того, чтобы повысить прогнозируемую метрику.

В ходе такого анализа можно выявить, что, например, пользователи, которые только 1 раз воспользовались поиском в приложении, с вероятностью 75% покинут его в течение следующих 14 дней.

А вероятность ухода игроков, которые совершили 1-2 платежа и прошли 2-5 уровней, только 35%.

Ну а те, кто сделал 5-10 покупок и прошли 5-10 уровней, покинут приложение с вероятностью всего 15%.

Предиктивная аналитика помогает определить, когда игрок заплатит

Следующая важная метрика, влияющая на доход, это конверсия в покупку, особенно в первую.

На неё могут повлиять следующие факторы:

• прохождение пользователем обучения;
• прохождение первого уровня;
• момент встречи с покупкой;
• демографические признаки игрока;
• технические характеристики устройства;
• дизайн игры.

Составив модель, вы определите:

• что заставляет пользователей начинать платить;
• кто вообще не собирается ничего покупать;
• пользователи с какими признаками (атрибутами) более склонны к покупке (с каким устройством, ОС, из какой страны).

Благодаря собранным данным вы сможете сравнить пользователей, которые с большой вероятностью склонны к покупке с теми, кто не собирается ничего покупать.

Аналогично анализу ухода пользователей, можно выяснить, что, например, игроки, первая сессия которых длилась более 15 минут, с вероятностью 70% совершат платеж.

Или, например, вероятность совершения платежа пользователями, использующими приложение с iPhone 6 из Германии, составляет 25%.

Предиктивная аналитика помогает рассчитать будущую вовлеченность аудитории в проект

Степень вовлеченности (engagement) пользователя также влияет на LTV. Это та же конверсия, только в действие, которое на ваш взгляд является важным для того, чтобы «зацепить» пользователя игрой и повысить «sticky-factor» (DAU/MAU).

Здесь всё достаточно индивидуально. Для одной игры этим показателем будет первый пройденный уровень, для другой – конверсия в регистрацию или определенное количество очков. Для приложения-органайзера – созданный таск, для словаря – найденное слово, для мессенджера – добавление контакта и отправка сообщения.

В этом случае, вы можете построить модель, которая покажет, какие юзеры склонны конвертироваться в это целевое действие. Соответственно, и способы воздействия на аудиторию с целью повышения метрики будут разные.

Если внутри вашего приложения есть реклама, то для определения лучшего момента для ее показа можно построить модель, которая сегментирует пользователей по вероятности реагирования на неё. Также модель позволит вычислить наиболее подходящий момент для показа рекламы.

В целом, зная, как поведет себя тот или иной пользователь в игре, вы можете изменить его путь, улучшив удовлетворенность игрой и, соответственно, повлиять на LTV и увеличить доход.

Примеров внедрения предиктивной аналитики

Разработчики из компании Innova запустили модели предсказания ухода игроков для двух типов пользователей.

Прогноз ухода «новичков» строился на основании их действий в первые пару дней, а о том, что уйдет из игры пользователь, который в ней уже несколько месяцев, разработчики узнавали за 2-3 недели до того, как это происходило, анализируя различные действия юзеров и их влияние на результат.

Компания Electronic Arts использует предиктивную аналитику для поиска «слабых» мест в игре, прогнозирования ухода игроков, и чтобы узнать, будет ли востребована та или иная фича после релиза, на основании ежедневно собираемых 50 Тб данных.

В игре Alien Child с помощью машинного обучения (части предиктивной аналитики) главный персонаж игры уже ведет диалоги с пользователями, накапливая данные и совершенствуя ответы.

Инструменты предиктивной аналитики

Всё больше аналитических сервисов встраивают и развивают инструменты для прогнозирования в свои продукты.

Например, Mixpanel делит пользователей на сегменты в зависимости от вероятности совершения ими целевых событий и позволяет отправлять таргетированные нотификации выбранному сегменту.

Аналогично предсказывает уход пользователей или их конверсию Localytics. Также инструмент показывает какими характеристиками обладают пользователи попавшие в тот или иной сегмент, какие действия они наиболее часто совершали.

А компания Infer анализирует информацию о пользователях для оценки вероятности их конверсии и прогнозирования продаж.

Мы в devtodev запустили механизм прогнозирования LTV на основании платежей в первые дни пользования продуктом. Мы можем посчитать, сколько денег в среднем приносит пользователь за свой первый день использования продукта, первые два дня, первые три дня и так далее. И на основании информации об этих платежах в первые дни, мы и делаем прогноз LTV. Получив информацию о платежах в последующие дни, мы уточняем прогноз.

В рамках сервиса также возможно предсказать:

• на какой день и на каком уровне они совершают свой первый, второй, третий платёж;
• на каком уровне они конвертируются в платящих / совершают повторные платежи;
• сколько они платят в свой первый / второй / последующий платежи;
• что они покупают на каждом уровне внутри игры за реальную или виртуальную валюту;
• как они перемещаются в игре с локации на локацию, и где у них возникают проблемы;
• и т.д.

Зная эти паттерны, вы сможете внести изменения в свою игру, сделав её более удобной для пользователей, и следовательно, увеличить их лояльность.

Допустим, вы определите, что на второй день в игре на шестом уровне пользователи совершают свой первый платёж, покупая сундук со звёздами. Если пользователю, дошедшему до этого места, вы пошлёте push-уведомление, предложите ему скидку на сундук со звёздами, то и пользователь более вероятно откликнется на ваше предложение, и вы увеличите конверсию в платящего.

Особенности предиктивного анализа

Несмотря на то, что предиктивные модели могут с высокой точностью предсказать поведение пользователей, у этого подхода есть несколько особенностей, которые нужно учитывать при использовании прогнозных моделей.

Во-первых, невозможно заранее предусмотреть все внешние факторы и события, которые могут произойти в будущем и повлиять на ваших пользователей и их поведение.

Например, iTunes может переиндексировать цены для какой-то определенной страны, из-за чего покупательная активность в регионе изменится.

Во-вторых, влиять на поведение пользователей могут не только внешние и экономические события, но и ваши эксперименты. Поэтому нужно иметь в виду, что, если вы постоянно экспериментируете, любой тест, особенно связанный с ценами, валютой и товарами, может сильно повлиять на поведение игроков, а значит прогноз, составленный по старым данным, перестанет быть актуальным.

Чего ожидать от предиктивной аналитики?

На сегодняшний день при построении предиктивной модели самая важная задача – определить параметры, которые сильнее всего влияют на прогнозируемое событие.
И лучше всего это сможет сделать человек, имеющий опыт в предметной области, а еще лучше – в конкретном продукте. И только такой специалист, знающий своего пользователя, может скорректировать заданные параметры, чтобы повысить точность прогноза.

Таким образом, в прогнозировании важную роль играет человеческий фактор. Поэтому следующим, ожидаемым от предиктивной аналитики шагом, должна стать большая степень автоматизации – чтобы машинные алгоритмы сами определяли эти влияющие на результат параметры и выявляли какое событие в пользовательском пути нужно изменить, чтобы качественно поменять результирующее событие.

Еще одно ожидаемое направление развития предиктивной аналитики, по мнению экспертов: возможность персонализировать игры, подбирая наиболее оптимальные параметры игрового процесса (уровень сложности, систем награждения, локации и т.п.) и монетизации для каждого игрока.

Уже сейчас можно собрать любые данные о поведении пользователя в игре, а каждое взаимодействие с ним может как увеличить, так и уменьшить доход, как улучшить, так и нарушить его дальнейшее поведение. Поэтому в долгосрочной перспективе машинное обучение может привести к тому, что игра сама будет подстраиваться под конкретного игрока, корректируя его путь и максимизируя доход.

Сейчас компании стараются фокусироваться не на том, что их пользователи делали в прошлом, а что они собираются делать в будущем. И предиктивная аналитика – это новый инструмент, который позволит не только прогнозировать это будущее, но и контролировать и корректировать его.

«Прошлое и настоящее — наши средства, только будущее — наша цель.»
Блез Паскаль