Исследование: как спрогнозировать успех игры в Steam по числу обзоров

Мне встречалось на Reddit немало дискуссий о том, какие факторы определяют успех игры. В них обсуждалось: насколько важно качество продукта? Достаточно ли одной узнаваемости игры до релиза для ее хороших продаж? Поможет ли демоверсия продать игру? А если релиз прошел не по плану, можно ли спасти проект? Возможно ли хоть приблизительно спрогнозировать продажи еще не вышедшей игры?

Я пытался ответить на каждый из них перед релизом моей собственной игры. Для этого мне пришлось потратить много времени на мониторинг будущих новинок. Я составил таблицу игр, где указал:

• число подписчиков игры;
• выходила ли она в раннем доступе;
• сколько обзоров получила в первую неделю, месяц и квартал, а также др. факторы.

Я делюсь этими данными в надежде, что они помогут другим разработчикам понять и предсказать продажи игры.

Fear the Night

Для начала — несколько примечаний.

• Число отзывов в Steam стало одним из основных источников данных для исследования. Есть свидетельства того, что они связаны с числом проданных копий. Часто упоминается, что на каждый обзор приходится по 50 проданных экземпляров. Но это соотношение не всегда конкретно. Более вероятно, что большинство игр в Steam попадают в «вилку» от 25 до 120 продаж на один обзор. Хотя есть и исключения. Назовем их «выбросы»*.

  * В статистике понятие «выброс» означает результат измерения, сильно отличающийся от других. К слову, наиболее вероятно, что «выбросами» окажутся игры с очень малым числом обзоров.

• Мне известны фактические продажи только одной игры — моей собственной. Так, за первую неделю я продал 1587 экземпляров игры, а за первый квартал — 3580.
• В выборку попало 115 игр. Я отобрал их произвольным образом, заглянув в «Популярные будущие продукты» и «Будущие продукты» в Steam. В таблице больше игр из первого рейтинга, так как я хотел, чтобы выборка была разнообразной, но не состояла целиком из плохо продаваемых игр.
• Игры упорядочены по дате релиза — от 26 октября 2018-го до 20 декабря 2018-го.

Пояснения к таблице

• Показатель 0,25 в графе «Релизная скидка» означает скидку в 25% на первой неделе продаж.
• Прогноз обзоров на 1 неделю — мое предположение о том, сколько обзоров на игру оставят пользователи после релиза.
• Соответственно, фактические обзоры за 1 неделю — сколько обзоров на самом деле получила игра за семь дней продаж.
• Фактические обзоры за три месяца — число обзоров за три месяца продаж.
• Число подписчиков — количество подписчиков игры до ее выхода. В некоторых случаях я фиксировал число подписчиков прямо перед запуском. В других — за неделю до него.
• Оценка — процент положительных обзоров на игру в Steam. Напомню, игре нужно минимум 20 обзоров, чтобы стор вычислил и отобразил процент.

Hitman 2

Вопрос 1: Можно ли спрогнозировать успех игры, отталкиваясь от ее качества?

Качество — понятие субъективное. В Steam самым объективным показателем качества игры, очевидно, является процент положительных обзоров на нее.

Я исключил из исследования все игры, у которых за первый месяц не набралось хотя бы 20 отзывов. В результате моя выборка сократилась до 56 проектов.

На основе данных об этих играх я рассчитал зависимость между оценками игр и числом обзоров за первые три месяца продаж с помощью коэффициента корреляции Пирсона*. Он составил -0,2.

* Этот коэффициент применяется для исследования взаимосвязи двух переменных. Величина коэффициента корреляции варьируется от -1 до 1. С помощью коэффициента корреляции Пирсона можно определить только силу линейной взаимосвязи между переменными.

В целом 0,2 — не важно, плюс или минус, — указывает на не слишком сильную взаимосвязь двух факторов.

Важнее всего, что корреляция Пирсона может быть неточной из-за «выбросов» — игр, чьи результаты сильно выделяются по сравнению с остальными. Из-за них расхождения корреляции могут быть колоссальными.

Возьмем, к примеру, Artifact от Valve. Та получила самое большое число отзывов за первые три месяца — и при этом одну из самых низких оценок (53% на тот момент). Удаление этой игры из выборки сделало среднюю корреляцию показателя в таблице почти нулевой.

Схожий результат дает подсчет коэффициента ранговой корреляции по Спирмену, который сводит к минимуму влияние огромных выбросов.

Вывод: если и есть взаимосвязь между качеством игры (измеряемой в проценте положительных обзоров на Steam) и ее продажами в первом квартале (измеряются подсчетом общего числа обзоров), мое исследование не дает ее обнаружить.

Artifact

Вопрос 2: Влияют ли наличие демо, выход в раннем доступе и релизные скидки на успех игры в Steam?

К сожалению, в этой выборке мне встретилось всего 10 игр с дорелизными демоверсиями. Делать выводы в таких случаях можно лишь при наличии очень сильной корреляции. Здесь же она, как и ожидалось, была незначительной.

Игр, вышедших в раннем доступе, было больше — 28. Но и здесь корреляция была слишком мала, а потому — бесполезна для исследования.

Более чем половина тайтлов запускались в сторе сразу с недельными скидками. Коэффициент взаимосвязи между наличием такой скидки и числом обзоров в релизную неделю составил -0,3 (умеренно отрицательный). Но это связано с отсутствием релизных скидок у ААА-тайтлов, которые продаются лучше всего. Если убрать из выборки игры, которые могли заработать более $1 млн в первую неделю, то корреляция будет нулевой.

Вывод: данных явно недостаточно. У демоверсий, выхода в ранний доступ и релизных скидок нет четкой взаимосвязи с оценками в Steam. А эффект от их пользы или вреда новой игре не так ярко выражен, чтобы его можно было оценить.

GRIS

Вопрос 3: Как соотносится рейтинг ожидания игры (ее узнаваемость до релиза) с возможным успехом?

Здесь рейтинг ожидания измеряется числом игроков, интересующихся новым тайтлом. Сколько их, можно узнать, если вбить в поиск по Steam любую игру и зайти в посвященное ей сообщество — игровой центр (стор создает его автоматически). Число пользователей в игровом центре — хороший показатель узнаваемости игры.

Корреляция между пользователями незадолго до релиза и количеством отзывов за три месяца составила 0,89 (очень сильная положительная). Ранговая корреляция также была высокой — 0,85. Это говорит о том, что взаимосвязь между данными из игровых центров и обзорами существует для всех игр, а не только для самых ожидаемых.

За исключением одного выброса (об этом ниже), соотношение числа обзоров за три месяца к числу подписчиков варьировалось от 0 до 1,8 с медианным значением в 0,1. Нижний порог относится к ряду тайтлов, у которых вообще не было отзывов.

Соответственно, если если у вашей новинки 1000 подписчиков, то к концу первого квартала игра может получить около 100 обзоров.

Упомянутый мной выброс заключается в следующем.

У некоторых игр число подписчиков было очень велико по сравнению со вторичными индикаторами рыночной узнаваемости — упоминанием на форумах и в Twitter. Оказалось, что Steam автоматически помещает в игровой центр пользователей, которые активировали ключ игры для релиза. К примеру, бэкеров с Kickstarter или участников бета-теста. Таким образом игра может набрать больше «подписчиков», нежели органическим путем.

Вывод: число органических пользователей в игровом центре действительно отражает возможный успех новинки.

Just Cause 4

Вопрос 4: А как насчет стоимости игры?

Коэффициент корреляции между ценником игры и числом обзоров за три месяца — 0,36 (умеренный). В пользе этих данных я не уверен.

Существует корреляция в -0,41 между ценой игры и оценкой пользователей. По всей видимости, игроки учитывают адекватность ценника, когда пишут обзоры на игру. Тайтл за $60 с большей вероятностью получит обзор, чем тайтл за $10.

Вопрос 5: Можно ли спрогнозировать квартальные продажи игры по показателю продаж первой недели?

Коэффициент взаимосвязи Пирсона между числом обзоров в первую неделю за три месяца — 0,99. Коэффициент Спирмена — 0,97. Это самые высокие показатели за все исследование.

У большинства новинок число обзоров за три месяца вдвое выше, чем их количество в первую неделю. (Здесь мы не берем игры, которые за семь дней разошлись очень небольшим тиражом и получили менее пяти обзоров.)

Получается, в релизную неделю мы продаем то же число копий игры, что и за последующие 12 недель. Соотношение числа обзоров, полученных за первую неделю, к числу обзоров, полученных за первые три месяца продаж, составляет от 1,3 до 3,2.

Разработчиков нескольких игр, чей релиз в сторе Valve был довольно слабым, интересовало мое мнение о том, как улучшить продажи. Я рекомендую посмотреть на число обзоров за первую неделю и просто удвоить эту цифру. Это и будет ваш результат к концу первого квартала после релиза. Хотя я уверен, что правильный пост-релизный маркетинг поможет улучшить продажи.

Вывод: да, между продажами в первую неделю и продажами за первые три месяца действительно есть прямая связь.

Pro Fishing Simulator

Вопрос 6: Влияет ли качество игры на хвост продаж?

Как только что упоминалось, есть прямая зависимость между продажами в первую неделю и продажами за первый квартал. Однако диапазон этой зависимости очень широкий. Здесь мы вводим понятие «хвостовой коэффициент». Это соотношение числа оценок игры за три месяца продаж (без первой недели) к числу оценок по итогу первой недели продаж.

Самое низкое значение коэффициента — 0,95 — было у Pro Fishing Simulator. Эта игра получила по итогу трех месяцев на один обзор меньше, чем было по итогу первой недели.

Наивысший коэффициент — 6,9 — был зафиксирован у другой игры, о которой я расскажу ниже. Эта игра сама по себе — огромный выброс.

Вряд ли совпадение, что игра с наихудшим коэффициентом оценена на 22%, а игра с наилучшим — на 96%.

Корреляция Пирсона между хвостовым коэффициентом и оценкой игры в Steam составляет 0,42 (умеренный коэффициент).

Вывод: хотя между качеством игры и ее обзорами и/или продажами нет четкой связи, между «хвостовым коэффициентом» и процентом положительных обзоров она есть. В конечном счете, качественные игры продаются лучше (но не будем забывать, что качество — понятие субъективное, — прим. редакции). Но взаимосвязь незначительна на фоне такого фактора, как узнаваемость игры на предрелизной стадии.

Overdungeon

Вопрос 7: Можно ли гарантировать успех игры до релиза, не имея доступа к вишлистам пользователей?

Я собирал данные о каждой игре, зачастую даже до запланированной даты релиза, чтобы у меня была возможность спрогнозировать, сколько обзоров, по моему мнению, они могли бы получить за первую неделю. Я опирался на число подписчиков игры, хотя в случае с некоторыми играми пригодились бы и данные об активности аудитории на форуме Steam и в Twitter.

Корреляция между моими прогнозами и фактическими результатами достигла 0,96. Практически все мои прогнозы в таблице попали в точку (лишь в редких случаях они оказались далеки от реальных значений).

Мой опыт подсказывает, что умножение числа подписчиков на 0,1 в большинстве случаев дает приблизительное понимание того, сколько обзоров будет у игры по итогам первого квартала. Если на форуме, посвященном игре, на каждые сто подписчиков не приходится хотя бы один вопрос, то у этой игры слишком много «неорганических» пользователей, и прогноз нужно скорректировать.

Вывод: приблизительно оценить успех игры в первую неделю, используя данные о количестве пользователей, можно еще до релиза (за некоторыми исключениями). И также можно представить себе результаты первого квартала, учитывая большую взаимосвязь между продажами за первые семь дней и за три месяца.

11-11 Memories Retold

Последний вопрос: о каких выбросах упоминалось?

В ходе исследования мне встретились игры, чьи показатели значительно выделялись. Это и есть выбросы.

Первый из них — Overdungeon. Незадолго до релиза в игровом центре у этой игры было 77 подписчиков. Довольно небольшое количество, так что я ожидал менее 10 обзоров в первую неделю. Но их пришло 86. А свой первый квартал игра закончила с 572 обзорами. У игры оказался наилучший «хвост» среди всей выборки.

Похоже, что Overdungeon — единственный случай в выборке, когда игра с небольшим дорелизным числом «подписчиков» пришла к солидным продажам за весь квартал.

Выброс второй — тайтл 11-11 Memories Retold. Имея 767 пользователей в игровом центре до запуска (в 10 раз больше, чем Overdungeon), она получила почти нулевое число обзоров в первый день и всего 10 — за неделю. Хотя у ее команды было все, чтобы раскрутиться. Глава проекта — Йон Фаниз (Yoan Fanise), соавтор популярной Valiant Hearts, а издатель — Bandai Namco Europe. В озвучке приняли участие Себастьян Кох (Sebastian Koch) и Элайджа Вуд (Elijah Wood). Игра заработала десятки положительных отзывов в игровой и обычной прессе. Сейчас ее оценка на Steam — 96%.

И вот к концу первого квартала продаж 11:11 демонстрирует самый большой коэффициент хвоста — но даже тогда число обзоров на нее составило 69. Сейчас их около 100. Коэффициент хвоста невероятный, но игра почти наверняка стала коммерческим провалом.

Это отличный пример того, что хорошая и качественная игра совсем не обязательно хорошо продается.

Подытожим.

Основные выводы:

• успех проекта в Steam сильно зависит от его результатов за первую неделю продаж;
• а результаты игры за первую неделю сильно зависят от ее узнаваемости до релиза;
• качество игры не слишком влияет на показатели первой недели, но оно может положительно сказаться на «хвосте» продаж;
• все выводы, касающиеся продаж, базируются на корреляции с числом обзоров.

Также по теме:

• Как связаны вишлисты в Steam и продажи игры в этом сторе?
• Глава No More Robots — о влиянии роста цен на продажи игр в Steam