Как использовать аналитику для поиска слабых мест в игре — советы от Azur Games

Колонка написана по мотивам выступления Максима на совместном митапе Azur Games и Google Ads, которое прошло в марте и было посвящено разработке и монетизации гиперказуальных игр.

Максим Кожнов

Сейчас часто говорят о том, как игры становятся более сложными, как растут требования игроков к качеству и количеству контента. За всем этим совершенствуется и аналитика. Ниже я расскажу, как повысить уровень своей аналитики и перейти от простых метрик к более сложным вещам (в частности, к отслеживанию и коррекции уровня оттока пользователей).

Сначала быстро вспомним основные метрики, которые известны и используются всеми. Мы можем разделить их на три группы.

Во-первых, это продуктовые метрики, такие как удержание, плэйтайм и другие. Здесь сложно что-то добавить.

Вторая группа — метрики монетизации. Их можно разделить на внутриигровые покупки, рекламную монетизацию и подписки. Основной метрикой здесь, конечно же, является LTV. Также смотрим на показы, ежедневные показы, общие показы ко дню X и подобные вещи.

Третья группа — это метрики привлечения пользователей (CPI, CTR, conversion rate, install rate, ROI, organic percentage). Они тоже довольно стандартны.

Но нужно помнить, что главной метрикой всегда является ROI. Если он выше 100%, то проект приносит прибыль. Этого можно достичь разными способами.

Например, у вас может быть довольно низкий ретеншн, но organic percentage будет очень высоким. И это хорошо для продукта. Или у вас может быть высокий CPI, но ваш LTV еще выше. И это тоже может привести к хорошему ROI. Так что случаи, когда некоторые метрики ниже эталонных значений, но в итоге продукт показывает хорошую прибыль — не редкость. Например, у нас есть проекты Hair Tattoo и Bike Hope, у которых R1 около 30%, но они могут получить отличную прибыль к концу своего жизненного цикла.

Теперь перейдем к более сложным вещам. Я поделю их на четыре темы: воронки, метрики рекламной монетизации, технические метрики и самая интересная часть — как работать с тепловыми картами.

Начнем с воронок. Они являются довольно распространенным инструментом в аналитике и используются для отслеживания оттока пользователей на разных этапах.

Справа можно увидеть пример простой воронки прохождения уровней в одной из наших игр. Но на самом деле в ней мало информации, чтобы сделать выводы.

Поэтому добавим больше параметров, как в левой таблице. Во-первых, мы разделяем нашу воронку на старт уровня и его завершение. Это позволяет понять, на каком этапе люди на самом деле покидают игру — во время самого уровня или между ними, что бывает по совершенно разным причинам

Также добавляем процент побед и среднее время, проведенное на уровне, чтобы точно знать, почему пользователь ушел: из-за сложности или потому что он слишком долгий.

Давайте подробнее посмотрим, почему так важно смотреть на длину этапов при работаете с коэффициентом оттока. Вот пример для градостроительной игры или айдлера.

На первый взгляд кажется, что четвертый этап хуже всего с резким скачком оттока в 20%, но на самом деле все несколько сложнее. Добавим к этой воронке время, прошедшее с момента установки.

Да, на четвертом этапе отток составляет 20%, в то время как на других этапах всего 10%. Но четвертый этап занимает больше времени на прохождение, поэтому вполне логично, что больше людей покинут игру в течение более длительного периода времени.

Чтобы прояснить ситуацию, нанесем все точки на график, где ось Y — это процент игроков с момента установки, а ось X — время, прошедшее с момента установки. Теперь видно, что на самом деле четвертый этап находится на одной линии со всеми остальными этапами, за исключением третьего. Потому что 10% оттока — это много для всего 30 секунд геймплея. Так что на самом деле стоит искать проблемы именно там, а не на четвертом этапе.

Теперь поговорим о рекламных сетях.

У нас много сетей в играх, но в отдельных случаях реклама из некоторых сетей может вызывать негативную реакцию у пользователей. Например, у них могут быть проблемы с SDK, или проблемы с закрытием рекламного окна, или они могут просто иметь агрессивную рекламу. Чтобы отслеживать эту проблему, мы смотрим на коэффициент закрытия сессий. Пример этой метрики можно увидеть в этой таблице.

Это реальные данные из одной из наших игр. Чтобы подсчитать эту метрику, мы делим количество показов, которые привели к закрытию сессии, на общее количество показов сети. Как видите, очевидно, что некоторые из сетей работают хуже других.

Тогда мы полностью отключили AdNetwork под номерами 5 и 6. Это привело к увеличению ретеншн и LTV на 10%. Обычно это плохая идея — полностью отключать рекламные сети, потому что ваш eCPM может упасть, но в некоторых случаях увеличение ретеншн за счет отключения некоторых сетей может компенсировать падение eCPM, и вы будете в плюсе. Еще лучше — отключать только конкретные рекламные материалы, вызывающие проблемы, но для этого нужно иметь много данных. В нашем кейсы это был относительно маленький проект, поэтому таких данных не было и мы полностью отключили две рекламные сети, но все равно получили хорошее увеличение метрик.

При анализе рекламы также важно смотреть на распределение показов среди пользователей.

Есть случаи, когда у вас в среднем одинаковое количество показов на пользователя, но в итоге у этих групп разный LTV. Это происходит из-за eCPM decay при каждом последующем просмотре для каждого пользователя. Например, если посмотреть на группу B на диаграмме, то много пользователей не смотрели рекламу вообще. Но также много пользователей посмотрели много рекламы. В этом случае LTV в группе B будет ниже, чем в группе A, хотя среднее количество показов на человека здесь одинаковое.

Перейдем к техническим метрикам.

Довольно очевидно, что техническое состояние вашего проекта сильно влияет на ретеншн и, следовательно, на монетизацию. Несмотря на этот факт, мало кто обращает на них внимание.

Что мы подразумеваем под техническими метриками? Во-первых, это FPS, средние и медианные значения, чтобы понимать, насколько плавно работает игра. Также отслеживаем количество скачков FPS, периоды времени, когда FPS опускается ниже определенных уровней. Таким же образом отслеживаем использование памяти. Также полезно отправлять данные о сбоях в аналитику, чтобы знать, какие конкретные события в игре привели к сбою. Конечно, также стоит использовать специальные инструменты для изучения крашей и ошибок, такие как Crashlytics.

Наконец, мы используем технические воронки, чтобы найти проблемы в последовательностях загрузки.

Шаги в этой воронке представляют собой некоторые важные этапы, например, принятие разрешений, загрузка игровых ресурсов, загрузка SDK, получение профиля с сервера и подобные вещи. Это действительно может помочь найти проблемы.

Если вы видите большой процент оттока между установкой и началом туториала, искать проблему надо в технической воронке. Также отслеживайте время между шагами в этой воронке, потому что некоторые шаги на самом деле могут занять больше времени, чем ожидалось.

Вот пример того, как мы используем технические метрики в реальной ситуации в многопользовательском шутере World War Heroes.

После релиза новой версии, мы заметили увеличение количества крашей. Разработчики определили, что большинство крашей связаны с использованием памяти. Затем аналитики выяснили, что краши происходят в основном во время битв.

Мы изучили зависимость использованной памяти от номера битвы и обнаружили утечки памяти. Затем собрали дополнительную аналитику по этому вопросу, определили карты, где это происходило и игровые режимы. И все это помогло найти и исправить проблему.

И последнее — тепловые карты.

Это графическое представление данных, которое использует систему кодирования цветом для представления различных значений. Вот несколько примеров использования тепловых карт.

Сюрприз-сюрприз, но в первую очередь тепловые карты могут помочь вам с левел-дизайном. Вы можете изучить маршруты движения игроков, позиции снайперов, места сбора игроков, места, где застревают или где покидают игру.

Также можно использовать тепловые карты для изучения интерфейсов в играх и приложениях, зависящих от UI, например, чтобы узнать, какие элементы пользовательского интерфейса используются чаще, и куда люди нажимают на экране.

В основном мы используем тепловые карты на мидкор-проектах, но это не значит, что вы не можете использовать их где-то еще, даже в гиперказуальных играх, если там есть сложные карты.

Вот кейс, как мы использовали тепловые карты в симуляторе езды по бездорожью.

Это игра, в которой нужно управлять грузовиком на труднопроходимой местности, используя ручное переключение передач, блокировку диференциала и другие приемы езды по бездорожью. Мы заметили существенный отток игроков между этапами туториала, но не могли понять причину из-за того, что карта была очень открытой.

Тогда мы стали отправлять координаты игроков в аналитику примерно каждые три секунды. Затем нанесли эти координаты на снимок карты, отмечали сетку координат и подсчитывали количество событий игроков в каждой ячейке. Чем больше событий происходит в определенном месте, тем ярче соответствующая ячейка.

Вот как это выглядело.

Интенсивные красные области на левой карте — места, где люди больше всего застревали. Зная об этих местах, мы смогли переделать карту. Добавили туда несколько подсказок для обучения, чтобы помочь людям понять, что им нужно делать.

Также разделили туториал на сложные сегменты по цвету и обнаружили, что некоторые игроки просто игнорируют подсказки обучения и идут прямо к целевой точке, что приводит к застреванию.

Синяя линия указывает на учебный путь от одной контрольной точки к другой, а красная стрелка указывает на конечную цель. Так что некоторые люди видели эту цель с самого начала и шли прямо к ней и застревали на камнях. Мы узнали об этом только благодаря использованию тепловой карты, и это помогло исправить проблемы и увеличить ретеншн примерно на 15%.