Как правильно тестировать арт?

Раннее тестирование помогает оценить, как ваши креативы (в этом контексте под креативами подразумевается рекламный арт к игре, — прим редакции) влияют на привлечение игроков. Обычно арт тестируют по двум причинам:

• когда с визуальной составляющей игры еще не определились и команда находится в поисках художественного стиля;
• чтобы понять, насколько рентабелен выбранный стиль.

На что смотреть?

Пусть у тестирования будет всего одна задача. Если нужна информация по нескольким пунктам — запустите несколько тестов. Никогда не пытайтесь запихнуть сразу несколько задач в один тест: все закончится тем, что результаты окажутся бесполезными. Арт тестируют по разным параметрам; ниже перечислены четыре основных.

1. Какой сеттинг лучше всего сочетается с выбранным художественным стилем?

Когда тестируете сеттинг, постарайтесь, чтобы все изображенное на картинке оставалось в пределах выбранной тематики. Обратите внимание, как четырех персонажей на каждой из приведенных ниже картинок объединяет один сеттинг.

Отмечу, что на CTR зачастую очень влияет поп-культура. К примеру, премьера нового фильма Marvel может заставить людей охотнее кликать на арт с супергероями. К сожалению, то, что популярно сегодня, не обязательно останется популярным через месяц.

2. Какой художественный стиль лучше всего подходит к выбранному сеттингу?

Художественных стилей существует огромное количество: 3D, пиксельный, лоу-поли, мультяшный и так далее. Стиль способен многое рассказать пользователю об игре. Когда кто-нибудь впервые смотрит «Дашу-путешественницу», ему не надо объяснять, что это детский мультик: по арту сразу ясно, что сериал для малышей. Когда решаешь, какой художественный стиль протестировать, важно представлять себе свою аудиторию. Если хотите узнать об арт-стилях побольше, то вот несколько ресурсов по теме: Creating an Art Style и The Aesthetics of Game Art and Game Design.

3. Какая цветовая палитра лучше всего подходит игре?

Цветовую палитру иногда тоже тестируют, но чаще всего она определяется аудиторией проекта и теми эмоциями, которые должна вызывать игра. Вот тут довольно интересные гайды для тех, кто пытается найти цветовое решение для своей игры: Color in Video Games: How to Choose a Palette и Picking a Color Palette for Your Game’s Artwork.

4. Насколько коммерчески востребован выбранный арт?

Когда речь заходит об игровом арте, это, пожалуй, один из главных вопросов. В целом тенденция такая: чем казуальнее выглядит игра, тем дешевле покупка пользователей. Но при этом стоимость пользователей в пределах трех главных категорий (казуалки, мидкор и хардкор) все равно сильно варьируется! Для определения коммерческой востребованности CPI-тест гораздо надежнее, чем CTR-тест.

Как измерять результаты?

Билд готов? Если игра уже существует (пусть даже в виде прототипа), то можно измерять CPI, CTR и уровень конверсии. Если игры пока нет, то получится измерить только CTR.

CTR-тест: позволяет определить общий интерес к игре.

CPI-тест: дает более полную информацию о том, какой у игры коммерческий потенциал. Если CTR-тест позволяет измерить общий интерес к игре, а уровень конверсии — сколько пользователей готовы установить игру, то CPI-тест раскрывает, во сколько обойдется покупка пользователей.

CTR-тест:

• выберите один параметр, который будет тестироваться (сеттинг, стиль, палитра и т.д.);
• создайте 2-4 сильно отличающихся друг от друга креатива, но при этом сфокусируйтесь на тех элементах, которые собираетесь тестировать; добавьте 1 креатив из другого проекта, для которого значения CTR известны. Он будет использоваться в качестве ориентира;
• создайте с выбранными креативами рекламу в Facebook (для этого воспользуйтесь гайдами по созданию рекламы от Facebook). Сделайте так, чтобы при нажатии на каждый из креативов пользователь переходил к одному и тому же приложению (убедитесь, что никакие другие факторы на скачиваемость приложения не влияют);
• обеспечьте каждому рекламному объявлению одинаковое статистически значимое количество показов.

Самое важное — уверенность в результате! Чем меньше разница между двумя показателями, тем шире должна быть аудитория теста.

К примеру, если у одного креатива CTR 1,82%, а у другого — 2,18%, то потребуется 96,2 тысяч показов, чтобы разобраться, какое лучше. Если же CTR 1,70% против 2,30%, то потребуется всего 35 тысяч показов. Чтобы посчитать, сколько точно нужно показов, используйте калькулятор статистической значимости или что-нибудь в том же духе.

CPI-тест:

• выберите один параметр, который будет тестироваться (сеттинг, стиль, палитра и т.д.);
• создайте 2-4 сильно отличающихся друг от друга изображения, но при этом сфокусируйтесь на тех элементах, которые собираетесь тестировать;
• если это возможно, то для ориентира параллельно запустите  еще одну игру в тех же странах, где и тестируемый проект. CPI может очень сильно меняться от месяца к месяцу. Всегда полезно, если есть с чем сравнить;
• создайте с выбранными креативами рекламу в Facebook. Сделайте так, чтобы при нажатии на каждое из изображений пользователь переходил к одному и тому же приложению (убедитесь, что никакие другие факторы на скачиваемость приложения не влияют);
• обеспечьте каждому рекламному объявлению одинаковое статистически значимое количество кликов (см. предыдущий пункт).

Обратите внимание: в случае с CPI-тестом нужно считать количество кликов, а для CTR-теста считается количество показов.

Почему Facebook?

Отвечу одним словом: таргетинг! В настройках кампании можно задать и возраст, и пол — так, чтобы арт точно увидела только ваша целевая аудитория. Если запустите тест без таргетинга и получите, к примеру, высокий CTR на какой-нибудь арт для дошколят, при том, что целевая аудитория игры — мужчины 18-35, то результаты такого теста вам вряд ли о чем-то скажут. Вот если игра для всех, то тестировать ее можно в любой сети.

Как понять, хорошие у арта показатели или плохие?

К сожалению, каких-то эталонных метрик, с которыми можно было бы сравнить показатели проекта, у меня нет. Рынок постоянно меняется. Вот почему я рекомендую использовать ориентир — изображение, которое использовалось для другой игры и на которое можно опираться при тестировании нового арта, чтобы была возможность оценить результаты в сравнении.

Тест завершен. Что теперь?

1. Убедитесь, что разница между результатами теста является статистически значимой. Если она слишком маленькая, то могут понадобиться дополнительные данные или изображения, которые еще сильнее отличаются друг от друга.
2. Какие у арта результаты — такие же, как у изображения-ориентира, и лучше? Если нет, то, возможно, придется внести дополнительные изменения и заново запустить тест.

Источник: блог Kongregate