Секретная миссия: как "Агенты Okko" помогают создавать лучший сервис

Как это работает?

В апреле 2020 года под руководством директора по сервису и клиентскому опыту Дарьи Юрасовой стартовал проект «Агенты Okko». Это сообщество пользователей, цель которого – сделать сервис лучше, привлекая действующих пользователей Okko к тестированию продукта.

Сообщество помогает находить проблемы удобства использования и выявлять технические недочеты платформы. Для этого предусмотрено 2 направления тестирования – юзабилити и техническое.

«Агенты Okko» тестируют сервис в различных форматах: онлайн-опросы, удаленные немодерируемые тесты, индивидуальные интервью и другие.

Как пользователи становятся Агентами?

Пользователи Okko получают приглашение в сообщество со ссылкой на анкету. При отборе учитываются все данные пользователя, начиная от опыта использования продукта до демографических параметров. Эта информация используется для формирования оптимальной выборки для каждого исследования.

Пользователи, прошедшие отбор, добавляются в сообщество, в котором они делятся опытом, общаются и задают вопросы по сервису. Приглашения на исследования участники получают по почте или с помощью каналов группы в Telegram и WhatsApp.

В чем преимущество сообщества для Okko?

Команда Okko придерживается принципа: лучше маленький тест, чем релиз вслепую. Причиной «релизов вслепую» в компаниях чаще всего становятся сжатые сроки или отсутствие бюджета. Сообщество «Агентов» позволяет продуктовой команде проверять гипотезы за считанные часы.

Например, тестирование новой версии плеера было проведено за 4 часа с момента передачи продукта в UX-лабораторию. За это время была осуществлена подготовка сценария, верстка онлайн-анкеты, рассылка задания пользователям, заполнение анкет и подготовка отчета с рекомендациями.

Экран плеера на iOS до и после внесения изменений по результатами тестирования с пользователями.

Кроме того, доверие к качеству рекрута сторонних респондентов часто довольно низкое. Когда к тестированию привлекаются действующие пользователи Okko, исследователи могут проверить их реальные данные и убедиться, что участник подходит под требования конкретной задачи.

Что происходит с обратной связью от агентов

Обнаруженные в ходе пользовательского тестирования проблемы обсуждаются с продуктовой командой, фиксируется критичность – влияние обозначенной проблемы на пользовательский опыт. По каждой задаче определяется ответственный за ее решение специалист и сроки ее исполнения.

Далее макеты, доработанные на основе обратной связи от пользователей, отдаются в разработку и проходят все последующие стадии тестирования: техническое и сплит-тестирование. Такой многоступенчатый подход обеспечивает необходимый набор качественных и количественных данных для принятия решений продуктовой командой.

Каковы преимущества участия в сообществе для «Агентов Okko»?

Пользователям должно быть интересно участвовать в тестированиях и активной жизни сообщества. Помимо приятных бонусов в виде промокодов на фильмы и подписки, Okko регулярно организует с самыми активными участниками различные закрытые мероприятия. Так, совсем недавно агенты смогли принять участие в закрытых пресс-показах второго сезона сериала «Нагиев на карантине» и присоединиться к онлайн-встрече по случаю премьеры фильма «Махинаторы» с Дейвом Маклином, Конором Бери и Славой КПСС. Также в до конца лета для агентов состоятся кинопрогулки по Москве-реке, где участники смогут смотреть и обсуждать фильмы, знакомиться друг с другом и с командой Okko вживую. И это только начало: в работе еще много идей совместных активностей с пользователями.

Возникает ли в таком случае эффект социальной желательности?

Например, дал хороший фидбек, тебе дали больше промокодов и пригласили на мероприятия? Или, наоборот, – придумал проблемы, которых в интерфейсе нет, и получил больше бонусов?

Специалисты UX-лаборатории пришли к выводу, что по результатам тестов этот эффект минимален. Агенты знают, что вознаграждение не зависит от наличия позитива или негатива в отзыве. Самое важное – давать содержательную обратную связь и аккуратно выполнять задания. Некачественные или социально ожидаемые ответы сразу заметны и исключаются из результатов, а респонденты, которые не дают полезного фидбека, удаляются из выборки.

Если тестировать только на своих пользователях, тем более лояльных, то результаты будут искаженными.

Чтобы получать фидбек от пользователей с разным опытом, тесты проводятся как с собственной базой, так и с внешними пользователями, которые не пользуются Okko.

Что дальше

На данный момент в сообществе более 1000 участников и планируется привлекать еще больше пользователей. Перед продуктовой командой стоит еще много задач по улучшению клиентского опыта в Okko и для этого очень важна регулярная обратная связь от клиентов сервиса.

Дарья Юрасова, директора по сервису и клиентскому опыту:

«Мы благодарим наших пользователей, которые согласились стать частью сообщества “Агентов Okko” и помогают нам становиться лучше. Со своей стороны обещаем приложить максимум усилий, чтобы создать лучший онлайн-кинотеатр».