Как эволюция пользовательского мышления переписала результаты одного А/Б-теста | Статьи

Аналитик Rookee Екатерина Хиндикайнен о необычных выводах из вполне обычного сплит-тестирования.

Проверка гипотез с использованием А/Б-тестов уже давно стала неотъемлемой частью работ по расширению конверсионной воронки в узких местах. В этой статье мы хотим рассказать о личном опыте тестирования одной и той же гипотезы три года назад и сейчас в сервисе.

Но сперва разберёмся в терминах, которыми оперируем в статье.

Конверсионная воронка — это последовательность совершённых на сайте пользовательских действий, ведущих к конечной цели. Например: Трафик → Регистрации → Оплаты. Детализация воронки индивидуальна и зависит от особенностей ресурса и рычагов влияния на конечную цель.

А/Б-тесты (A/B-, сплит-тесты) — мощный маркетинговый инструмент для повышения эффективности ресурса и расширения конверсионной воронки в узких местах. Суть тестирования заключается в сравнении контрольной и тестовой группы элементов: А-группа без изменений (контрольная), Б-группа с изменениями (тестовая).

Гипотеза для теста — предположение по изменению функций ресурса, которое, как предполагается изначально, благоприятно повлияет на целевые показатели (например, на конверсию в определённом участке воронки).

История одной гипотезы

В 2015 году наши специалисты проводили анализ конверсионной воронки. По результатам этого анализа приняли решение прорабатывать воронку сверху. В нашем случае «верхом» воронки, как и для большинства других ресурсов, является регистрация.

«При стабильном проценте конверсии оплат в абсолюте станет больше», — скажете вы. — «Поэтому нужно просто увеличить число зарегистрированных пользователей».

В большинстве случаев вы будете правы, но не всегда.

Есть группа людей, которая доходит до покупки самостоятельно (назовём её «интерфейсные активаты»). Но есть и значительное число пользователей, которым необходимо помочь определиться с выбором и принять решение о покупке. С ними нужно разговаривать, им нужно звонить по телефону и отвечать на их вопросы (назовём эту группу людей «активаты голосом»).

Кроме того, с точки зрения психологии покупателя, голосовое общение с зарегистрированными пользователями благоприятнее влияет на средний чек, а также на срок жизни клиента.

«Значит, нужно организовать работу таким образом, чтобы всех зарегистрировавшихся пользователей обзванивали».

Всё так, только одно но — для совершения звонка нужно запрашивать номер мобильного телефона при регистрации. Как показывает практика, чем больше полей у формы регистрации, тем ниже вероятность того, что посетитель дойдёт до конца.

Здесь мы, наконец, добрались до сути нашей гипотезы: обязательное указание мобильного телефона при регистрации не ухудшит конверсию из посетителей в зарегистрированных пользователей. При этом номер телефона для каждого пользователя позволит увеличить конверсию в оплаты за счёт прозвона.

Раньше поле «Номер телефона» не было обязательным для заполнения

Обратите внимание: гипотеза в итоге получилась не про расширение воронки по числу зарегистрировавшихся пользователей. Нас устраивало сохранение текущего процента конверсии из посетителей в регистрации. Указание номера телефона при регистрации способствовало бы увеличению «активатов голосом» — и в итоге привело бы к росту финансовых показателей в долгосрочной перспективе.

Результаты тестов в 2015 и 2018 годах

Как вы, вероятно, уже догадались, в 2015 году гипотеза провалилась. Конверсия из трафика в регистрации ухудшилась — и это с учётом сезонности! Замотивированные пользователи всё же регистрировались, но в сухом остатке было много фейковых номеров.

Подтверждение номера телефона мы запланировали на следующий этап развития гипотезы (если бы она сработала). Но следующего этапа не было — пришлось откатывать изменения и проверять другие гипотезы.

Мы решили снова проверить гипотезу на практике и в июне провели повторный тест.

Версия с необязательным указанием мобильного телефона

Версия с обязательным указанием мобильного телефона

По результатам конверсия из посетителей в регистрации осталась на прежнем уровне, но количество фейковых номеров резко сократилось. Сейчас их число составляет менее 5% от всех регистраций. И мы убеждены, что причиной этому послужила эволюция пользовательских привычек.

Психология пользователей изменилась: многие массовые сервисы и ресурсы в обязательном порядке просят указать номер телефона при регистрации. Люди привыкли получать подтверждение и пароли на свой мобильный телефон. Оставлять контакты стало обычным делом.

Вывод: проверив гипотезу единожды, не забывайте про неё навсегда. Если изменились обстоятельства и интуиция подсказывает вам, что пришло время проверить гипотезу ещё раз — действуйте. Возможно, именно сейчас она созрела и готова принести свои плоды.