Измеряем лояльность пользователей: так ли хорош Net Promoter Score?

Василий Сабиров

На днях очередной сервис попросил у меня оценить по шкале от 0 до 10 вероятность того, что я посоветую его друзьям.

Каждый раз, когда мне задают этот вопрос (а случается это в среднем раз в неделю), я испытываю огромное любопытство: какие решения будут приняты в сервисе на основе данного опроса? Неужели он действительно может что-то изменить?

Этот метод замера пользовательской лояльности называется Net Promoter Score, и он очень популярен (мы даже про него написали небольшой материал для App2Top.ru полтора года назад). Однако, как аналитик, я испытываю легкий скепсис относительно данного метода. Об этом я и хочу рассказать.

Что такое Net Promoter Score?

Вкратце расскажу, как он считается. В зависимости от того, какую оценку поставил пользователь, он классифицируется в одну из следующих категорий:

Промоутеры (9 или 10 баллов). Эти ребята за продукт готовы пойти в огонь и воду, они — наиболее лояльная к продукту аудитория.

Нейтральные, равнодушные пользователи (7 или 8 баллов). В целом, продукт им нравится, однако рекомендовать они его не готовы.

Критики (от 0 до 6 баллов). Они ставят негативную оценку, продукт им не нравится, и они готовы рассказывать об этом.

Соответственно, дальше рассчитывается доля промоутеров и критиков среди всех респондентов. Доля критиков вычитается из доли промоутеров, и так вы получаете Net (то есть очищенный от критиков) Promoter Score. Чем он выше, тем более лояльной к продукту считается аудитория.

Плюсы NPS

Простота расчетов. Чтобы объяснить, как он считается, мне не пришлось даже прибегать к формулам, все рассказывается словами. И на деле подсчет итогов занимает меньше минуты.

Универсальность. Будь ты хоть авиакомпания, хоть сервис по доставке пончиков, ты сможешь посчитать NPS. Правила расчета едины и просты, сбор информации делается быстро и легко, пользователю надо нажать лишь одну кнопку. Вот, кстати, список компаний (естественно, неполный), применяющих NPS в своей практике.

Распространенность. NPS считают если не все, то многие. Соответственно, многие делятся результатами и в интернете можно найти ориентировочные значения NPS для разных индустрий (бесплатный доступ, платный доступ).

Минусы NPS

NPS — это мысленный эксперимент, а не действие

Это первый и главный минус данного метода. Не все критики на самом деле критикуют и не все промоутеры на самом деле рассказывают друзьям. Вы просто просите пользователя провести абстрактное действие в своей голове, не более. У всех разные отношения с друзьями, разное социальное поведение, и далеко не всегда истинная лояльность к бренду совпадает с желанием поделиться информацией о нем. Виральность — лишь одна из оптик, с помощью которой можно взглянуть на более широкий показатель лояльности.

NPS выбрасывает из расчетов часть пользователей

Если предположить, что вероятность поставить каждую из оценок распределена равномерно, то, не принимая в расчет тех, кто поставил оценки 7 и 8, вы не смотрите на 18% ответивших пользователей. Не самая маленькая погрешность для количественного метода.

NPS зависит от культурного аспекта

Все мы с вами по-разному воспринимаем действительность. Шкала от 0 до 10 не является однозначно трактуемой в разных культурах.

Например, в США оценки пользователей более полярны, там гораздо меньше доля нейтрального отношения: им либо нравится продукт, и тогда оценки ставятся максимальные, либо нет, и тогда оценки ставятся негативные.

В российской же культуре есть некое стремление к «нормальному» (как дела? нормально!), и поставить оценку 0-1 или 9-10 означает действительно признать свою яркую эмоцию, на что способны далеко не все. Здесь гораздо больше оценок 5 и 6, означающих в России среднее «нормальное» отношение к продукту, но считающихся негативными по методологии NPS.

NPS не учитывает структуру аудитории

Во фритуплейных играх, например, 90-95% дохода приносят старые игроки, зарегистрировавшиеся давно и совершившие уже не один платеж. Таковых игроков обычно не более 5% от общей аудитории. То есть в разрезе NPS они едва ли смогут заметно повлиять на значения индекса. Хотя истинная лояльность, выраженная в деньгах, у этих пользователей куда больше. Придавая меньшее значение core-аудитории, вы рискуете принять решение, которое понравится молодым неплатящим игрокам и не будет принято теми, кто приносит вам деньги.

Кейс

Одна из компаний (какая именно, рассказать не можем: NDA), которая обратилась в devtodev за аналитическими консультациями, выпустила апдейт, довольно серьезно изменивший экономику игры.

Чтобы оценить, как пользователи отнеслись к обновлению, мы воспользовались NPS. И выяснили, что NPS вырос. А доход упал!

Стали разбираться и поняли, что данное обновление отлично сработало на неплатящую аудиторию, но не понравилось платящим игрокам. Платящих игроков сильно меньше, и их доля в NPS оказалась незаметной.

Если посчитать NPS в том случае отдельно по платящим и неплатящим, то можно увидеть, насколько по-разному разные сегменты пользователей отреагировали на изменение.

Чтобы избежать таких кейсов, следует делать NPS средневзвешенным, где в качестве веса указывать суммарные платежи по каждому пользователю. Пусть не универсально, зато более справедливо.

NPS зависит от того, проходил ли клиент опрос ранее

Когда пользователь сталкивается с вопросом «Оцените вероятность того, что вы расскажете о продукте друзьям, от 0 до 10» во второй или третий раз и он помнит свой предыдущий ответ, то на его нынешний ответ могут повлиять два фактора:

• «Опять они спрашивают, я же в прошлый раз отвечал». И оценка таким образом может снизиться просто из-за повторения вопроса.
• «А что изменилось с последнего раза?». Пользователь, оценивая лояльность, будет ориентироваться не на весь свой опыт игры в данный проект, а только на тот его промежуток, что прошел между двумя вопросами. Это не совсем лояльность, а скорее реакция на недавние изменения.

NPS требует периодического пересчета

Допустим, вы рассчитали свой NPS и он оказался равным, скажем, 60%. С тех пор немало воды утекло, выпущено множество новых релизов, и вы справедливо хотите узнать, как изменилась пользовательская лояльность с тех пор.

Здесь стоит быть максимально аккуратными: в предыдущем пункте мы говорили о том, что повторяемость не играет на руку точности, а значит, желательно выбирать новую аудиторию (и желательно случайно) для опроса и выбирать из числа тех, кто еще не проходил его ранее.

Это не всегда просто сделать, сохранив репрезентативность выборки. С одной стороны, вам нужно больше пользователей, чтобы выборка была репрезентативна, с другой же — увеличивается вероятность того, что пользователи пройдут опрос повторно. И далеко не всегда у вас под рукой достаточно технических средств, чтобы справиться с этой задачей.

NPS — инерционный показатель. Учитывая, насколько разные слои аудитории попадают в опросы, вы не можете сказать о том, насколько часто эти люди в среднем пользуются продуктом. Точнее так: если смотреть в среднем, то пользуются скорее всего реже, чем вы думаете. А значит, в отношении людей к продукту наблюдается инерционность: не все успевают следить за вашими обновлениями и принимают решение от 0 до 10 на основании ранее выработанного отношения к продукту.

NPS не отвечает на вопрос «почему»

Опять же, NPS — это простой мысленный эксперимент, измеряющий текущее поверхностное отношение к продукту. И, вооружившись одним лишь NPS, вы не сможете ответить на вопрос, почему тот или иной пользователь поставил негативную или положительную оценку.

Какие выводы можно сделать?

Так что же теперь, не пользоваться устоявшимся механизмом NPS?

• Во-первых, не опросами едиными жива пользовательская лояльность. В NPS пользователь проводит мысленный эксперимент, а истинную лояльность пользователи демонстрируют, голосуя ногами (возвращаясь в продукт) или рублем (совершая покупки продукта). Поэтому ее стоит рассматривать вместе с метриками удержания (retention) и монетизации (ARPU, ARPPU, LTV). Все вместе эти метрики способны рассказать о продукте куда больше.
• Во-вторых, если все же говорить об опросах, то у NPS есть альтернативы в виде других методологий опросов. В частности, американский индекс ACSI или европейский индекс EPSI. Всех минусов NPS они не лишены, однако их вопросы подразумевают чуть более глубокие ответы.
• В-третьих, тот же NPS, если проводить его по всей технологии, может дать больше информации о продукте, если применить к нему сегментацию. Отдельно считая NPS по платящим и неплатящим, по странам, по возрасту в продукте и другим видам сегментации, вы гораздо больше поймете о том, как на самом деле распределена лояльность пользователей и как она работает. Более того, я бы сказал, что к NPS нужно применять сегментацию обязательно, а без нее агрегированная оценка — это сферический конь в вакууме.
• В-четвертых, единственный бенчмарк, на который стоит ориентироваться — это предыдущие значения NPS по вашему продукту. Другие ориентиры, полученные из открытых источников, могут помочь вам лишь косвенно. Если вы знаете, что у других компаний, пусть даже конкурентов, NPS больше или меньше вашего, то это знание ничего вам не даст: вы не знаете, верно ли они его считают, вы не знаете, как NPS распределен по разным сегментам пользователей. Самое главное, чтобы NPS вашего продукта увеличивался со временем. А еще лучше, чтобы метрики удержания и монетизации также росли. Лишь тогда вы сможете более-менее однозначно сказать, что лояльность пользователей в вашем проекте тоже становится лучше.