← Назад к блогу

5 июля 2023

Циан внедрил немодерируемые исследования — команда стала проводить больше UX-тестов, а задачи перестали гореть

cian-vnedril-nemoderiruemye-issledovaniya-komanda-stala-provodit-bolshe-ux-testov-a-zadachi-perestali-goret

В конце прошлого года к нам обратился Циан с запросом уменьшить нагрузку на исследователей. Продуктовым командам нужно было проводить больше UX-тестов, но у отдела не было на это ресурсов. В этой статье расскажу, как мы смогли покрыть исследованиями больше решений и снять нагрузку с отдела, не нанимая новых сотрудников и не растягивая сроки.

Для контекста проговорю, что в 2023 году кроме объявлений у Циан есть ещё каталоги агентств и застройщиков, сервисы для оценки недвижимости и подбора риелтора, и даже своё медиа Циан.Журнал.


Циан в 2023 году — это сервис с ежемесячной аудиторией 18 млн пользователей и 2 млн объявлений. Так что у исследователей много работы. Каждый день принимаются десятки продуктовых и интерфейсных решений.

Проблема: в исследованиях не хватало мощностей

Отдел исследований Циан был загружен: в среднем исследователи выполняли 90 задач в месяц, из которых около половины — это тесты интерфейсных решений и вординг.


Команда работала в полную силу, но маркетологам и продуктовым дизайнерам большой корпорации важно чаще проверять решения. В бэклоге постоянно скапливались задачи — покрыть их нужно было, по традиции, ещё вчера, а вот найти на это ресурсы было сложно.

Работа вставала из-за коротких сроков и неприоритетных запросов

У проблемы было две причины:


1. Сжатые сроки.

Продуктовые команды часто приносят asap-задачи. Например, нужно сравнить несколько прототипов новой вкладки поиска или оценить заметность точки входа. У дизайнеров и продакт-менеджеров нет возможности ждать две недели на исследование. Поэтому другие задачи из очереди передвигались на следующий спринт, чтобы успеть выполнить asap-задачу.


2. Запросы, на которые не хватало ресурсов.

Например, сравнить два прототипа и понять, какое решение работает лучше. Или проверить, как пользователи понимают новую функцию. Работа с такими запросами тоже влияет на качество продукта и UX, но часто эти задачи отодвигаются на второй план, чтобы уступить место большим дискавери-исследованиям.

Решение: немодерируемые исследования и возможность запускать их для всей команды

Команда исследователей начала выполнять больше задач с помощью немодерируемых тестов в Pathway. Например, задавать открытые вопросы респондентам, проводить first click-тесты, проверять сценарии с Figma-прототипом, проводить карточную сортировку или 5-секундный тест. Pathway находит респондентов за 30 минут или в течение пары дней, в случае запроса из более узкой аудитории.


image Так выглядит экран создания теста в Pathway. Справа форматы тестов, которые можно использовать в исследовании. Исследование может состоять из одного или из десятка тестов. Слева кнопка для предпросмотра, чтобы увидеть тест глазами респондента


Исследователи Циан стали пользоваться возможностью приглашать и собственных респондентов. Этот процесс при желании можно даже автоматизировать. Например, оставить ссылку на сайте и предложить нужной аудитории пройти тест. В приложении тоже самое получится сделать с помощью виджета UX Feedback.


Отчёты о проведенном исследовании в Pathway интерактивны: можно быстро посмотреть агрегированные результаты или ответы отдельно взятых респондентов. Легко отфильтровать данные, посчитать важные метрики. Такая работа с отчётами помогает сделать выводы, которые необходимы команде продуктового дизайна.

image Это пример отчёта в Pathway. Когда респондент проходит тест, сотрудник получает карту кликов, а не 100+ видеозаписей с прохождением задания


В итоге с немодерируемыми тестами у Циан получилось закрыть много точечных запросов по исследованию продуктово-дизайнерских решений. Тогда исследователи попробовали демократизировать процесс.

Трудности демократизации

Команда исследователей начала внедрять процесс, когда продуктовые дизайнеры самостоятельно проводят UX-исследования своего решения внутри Pathway. Это позволяет дизайнерам не ждать несколько дней, пока у исследователей получится обработать запрос. Учитывая тренд на демократизацию исследований на рынке — это классный задел на будущее, хотя, конечно, такой подход требует внимательной настройки.


Сontinious Research Report 2022 показал, что 64% опрошенных продуктовых команд отмечают демократизированную культуру исследований внутри организации


На практике всё оказалось сложнее, чем предполагалось. Появились новые сложности.


1. Нужно обучать сотрудников пользоваться сервисом.


И в принципе рассказать о том, как проводить немодерируемые исследования. В Pathway мы создали гайд по немодерируемым исследованиям. Рассказали, когда исследования применимы и что важно при подготовке.
А команда исследователей Циан подготовила собственную инструкцию и провела обучение для сотрудников.

image В инструкции для сотрудников Циан прописан весь алгоритм работы с Pathway


2. Необходимость поддерживать и супервизить исследования.


Дизайнеры проводят тесты самостоятельно, но исследователи всё равно нужны, чтобы помочь подготовиться и оценить результаты.

Изначально придерживались стратегии минимального вовлечения исследователя. Условно, не более 10% рабочего времени. Но в опредёленный момент поняли, что такая стратегия не идеальна. Не из каждого теста получалось взять максимум пользы.

Поэтому теперь стремимся к управляемой демократизации — возможность делать тесты открыта для всех, но вовлечение исследователя стало больше. По крайней мере, на период получения опыта работы с такими тестами.


— Маргарита Скляренко, исследователь продукта в Циан


👉🏻 Гайд по немодерируемым исследованиям


Решили проблемы и продолжаем работать

Задачи по тестированию интерфейсов в исследовательском отделе Циан теперь разделены на 2 потока:

  • Модерируемые. Задачи, в которых нужно проверять сложные сценарии. Этим занимается исследовательский отдел.
  • Немодерируемые. Срочные и точечные задачи дизайнеры проводят сами или в тандеме с ресерчерами в Pathway. Это около 30% от общего объема тестов.

Точечные запросы и срочные задачи теперь не пылятся и выполняются в срок. За третий квартал 2022 года Циан провели 60 немодерируемых тестов вместе с Pathway. Это число постепенно растёт — за четвёртый квартал провели 76 таких тестов, в дополнение к запланированным UX-интервью и дискавери исследованиям.


Я надеюсь, что рассказ был полезен. Поделитесь мнением или вопросами в комментариях. Что думаете о немодерируемых исследованиях?


Если хотите быстро проверять продуктовые и UX-решения, зарегистрируйтесь в Pathway бесплатно. Попробуйте создать три теста и собрать до 250 ответов в месяц. При регистрации мы даём 750 велком-кредитов, которые можно потратить на привлечение респондентов.