На прошлой неделе студия perelesoq опубликовала исследование, согласно которому Steam-вишлисты устаревают, а стратегия, ставящая во главу их набор, — неэффективна. Часть сообщества выступила с критикой этой работы. Почему к выводам perelesoq стоит относиться с осторожностью, — редакции объяснил Александр Барабанов, ведущий дизайнер Sad Cat Studios.
Александр Барабанов
Я начну с того, что сама методология, которую использовали ребята из perelesoq, — хорошая и правильная. Использование кубической регрессии для оценки подъемов и спадов интереса к играм в Steam — удачное решение.
Однако в подобных исследованиях всегда важен не только метод, но и корректная выборка. В случае ее отсутствия выдвигать какие-либо выводы нельзя — только делиться гипотезами для их последующей проверки.
Выборка в работе perelesoq некорректна по нескольким причинам. Ключевая, о которой успели написать многие, — небольшое количество проектов в ней. Судить на примере всего 5-6 игр о работе алгоритмов нельзя.
Но проблема не только в количестве проектов. Выборка неоднородна. Проекты разное время были в Steam. Разное время собирали вишлисты. Какие-то проекты пять лет шли к релизу, какие-то завели страницу за полгода до запуска. Я уже не говорю про то, что выходили в разное время.
Неправильно выбирать столь разные проекты. Я понимаю, что далеко не все готовы делиться данными, что исследование делалось с тем, что есть. Однако ограниченное количество информации не должна быть оправданием.
Помимо этого, у большинства проектов из выборки основная часть вишлистов — из России. Эта аудитория игроков сейчас испытывает значительные сложности с покупкой: старые российские вишлисты могли не сконвертироваться по этой причине.
Учитывался ли этот фактор? К сожалению, насколько можно судить по тексту представленного исследования, нет. То есть, при проведении работы игнорировались сторонние факторы, которые могли повлиять на репрезентативность данных.
Еще одна причина, по которой выборка является неудачной: недостаточное число успешных проектов в выборке. Только у одного проекта из шести — больше 1000 отзывов, еще у двух — чуть больше 500 рецензий.
В итоге, выборка у perelesoq не только очень мала, но и неоднородна. Из-за этого экстраполировать полученные с этих проектов данные на всю площадку нельзя. Тем более, нельзя делать глобальные выводы и давать советы.
Справедливости ради, американский маркетолог Крис Жуковски (Chris Zukowski), со статьи которого обсуждение и началось (в ней американский маркетолог утверждал, что вишлисты «не устаревают»), также представил очень небольшую выборку, которой также не стоит доверять.
В завершении хочу остановиться на следующей цитате из исследования perelesoq:
«Слепой набор вишлистов» — неэффективная стратегия. Подход «открыть страницу как можно раньше и постепенно копить вишлисты», судя по нашим данным, не приносит значительного результата. Лучше концентрировать усилия ближе к релизу и пост-релизному периоду, где находится самая активная и платежеспособная аудитория.
Как мне кажется, именно она и вызвала основную критику в геймдев-сообществе. Этот вывод команды perelesoq читается так, будто охват рекламной кампании не меняется в зависимости от продолжительности кампании.
Подобный сценарий будет работать только в том случае, если охват кампании в предрелизные месяцы будет гарантированно больше, чем, скажем, выпуск страницы сильно раньше, чем пассивный набор вишей. К сожалению, это гарантировать или спрогнозировать никто не сможет.
Поэтому я расцениваю этот вывод, как вредный совет.
Что касается моего мнения по устареванию вишлистов, то, как мне кажется, конверсия у старых вишей, действительно, хуже. Однако представленные perelesoq данные не могут служить здесь доказательством. Слишком небольшая и некорректная выборка.
Комментарии
Ответить