Методология — хорошая, но выборка некорректна — Александр Барабанов из Sad Cat Studios об исследовании perelesoq

Александр Барабанов

Я начну с того, что сама методология, которую использовали ребята из perelesoq, — хорошая и правильная. Использование кубической регрессии для оценки подъемов и спадов интереса к играм в Steam — удачное решение.

Однако в подобных исследованиях всегда важен не только метод, но и корректная выборка. В случае ее отсутствия выдвигать какие-либо выводы нельзя — только делиться гипотезами для их последующей проверки.

Выборка в работе perelesoq некорректна по нескольким причинам. Ключевая, о которой успели написать многие, — небольшое количество проектов в ней. Судить на примере всего 5-6 игр о работе алгоритмов нельзя.

Но проблема не только в количестве проектов. Выборка неоднородна. Проекты разное время были в Steam. Разное время собирали вишлисты. Какие-то проекты пять лет шли к релизу, какие-то завели страницу за полгода до запуска. Я уже не говорю про то, что выходили в разное время.

Неправильно выбирать столь разные проекты. Я понимаю, что далеко не все готовы делиться данными, что исследование делалось с тем, что есть. Однако ограниченное количество информации не должна быть оправданием.

Помимо этого, у большинства проектов из выборки основная часть вишлистов — из России. Эта аудитория игроков сейчас испытывает значительные сложности с покупкой: старые российские вишлисты могли не сконвертироваться по этой причине.

Учитывался ли этот фактор? К сожалению, насколько можно судить по тексту представленного исследования, нет. То есть, при проведении работы игнорировались сторонние факторы, которые могли повлиять на репрезентативность данных.

Еще одна причина, по которой выборка является неудачной: недостаточное число успешных проектов в выборке. Только у одного проекта из шести — больше 1000 отзывов, еще у двух — чуть больше 500 рецензий.

В итоге, выборка у perelesoq не только очень мала, но и неоднородна. Из-за этого экстраполировать полученные с этих проектов данные на всю площадку нельзя. Тем более, нельзя делать глобальные выводы и давать советы.

Справедливости ради, американский маркетолог Крис Жуковски (Chris Zukowski), со статьи которого обсуждение и началось (в ней американский маркетолог утверждал, что вишлисты «не устаревают»), также представил очень небольшую выборку, которой также не стоит доверять.

В завершении хочу остановиться на следующей цитате из исследования perelesoq:

«Слепой набор вишлистов» — неэффективная стратегия. Подход «открыть страницу как можно раньше и постепенно копить вишлисты», судя по нашим данным, не приносит значительного результата. Лучше концентрировать усилия ближе к релизу и пост-релизному периоду, где находится самая активная и платежеспособная аудитория.

Как мне кажется, именно она и вызвала основную критику в геймдев-сообществе. Этот вывод команды perelesoq читается так, будто охват рекламной кампании не меняется в зависимости от продолжительности кампании.

Подобный сценарий будет работать только в том случае, если охват кампании в предрелизные месяцы будет гарантированно больше, чем, скажем, выпуск страницы сильно раньше, чем пассивный набор вишей. К сожалению, это гарантировать или спрогнозировать никто не сможет.

Поэтому я расцениваю этот вывод, как вредный совет.

Что касается моего мнения по устареванию вишлистов, то, как мне кажется, конверсия у старых вишей, действительно, хуже. Однако представленные perelesoq данные не могут служить здесь доказательством. Слишком небольшая и некорректная выборка.