Поговорили с командой ВКонтакте о том, почему вопрос исследования и вопрос респонденту — это разные вещи, за какими метриками следить при проведении опросов и как отлавливать аномалии в тестах.
- 1. Не переносите вопросы исследования напрямую в анкету
Старайтесь различать вопрос исследования и вопрос в анкете. Если мы хотим узнать “Удобно ли приложение”, то спрашивать об этом напрямую — не самое лучшее решение. Каждый человек понимает удобство по-своему. Поэтому лучше определить для себя, что мы понимаем под удобством — например, “мне легко найти нужную функцию” — и спрашивать более конкретно.
- 2. Не спрашивайте у пользователя, что лучше. Смотрите на результаты исследования и отвечайте на этот вопрос сами
Основной объект UX-исследований — скорее интерфейс, чем пользователь. Важно понимать, что мы не обращаемся к пользователю за советом “Как делать?”, а смотрим, как он работает с продуктом и на основании этого самостоятельно делаем выводы и принимаем решение.
Если мы забываем про это, зачастую появляется желание просто показать два варианта продукта и спросить “Какой лучше?” В этом случае мы перекладываем ответственность за решение на пользователя. Однако у него нет понимания контекста создания продукта, и он не разбирается в технических подробностях и затратах на создание. В итоге мы получаем вроде бы валидный результат исследования, который, на самом деле, ничего не значит. И имеем большой шанс принять неправильное решение.
- 3. Чем меньше возможностей понять вопрос неправильно, тем лучше
Немодерируемые тесты — это асинхронный метод сбора данных, и многое зависит от того, как респондент понимает и интерпретирует вопросы. Если нас не поймут, мы об этом не узнаем. Чем меньше возможностей понять вопрос неправильно, тем лучше. Например, стоит избегать слишком специфичных слов. “На каком этапе онбординга вы отвалились?” — может быть непонятным вопросом для большинства пользователей.
- 4. У опросов тоже есть свои метрики
Во время проведения опроса обращайте внимание на конверсию и время прохождения как всего опроса, так и отдельных заданий: это позволяет вовремя обнаружить аномалии. Некоторые вопросы, например, карточная сортировка, могут отнимать у респондентов много времени и сил. Нужно внимательно смотреть, сколько времени люди тратят на это задание и не бросают ли тест на этом шаге.
Если конверсия в прохождение у подобного вопроса совсем маленькая, есть смысл облегчить тест. Снизить количество карточек, или даже разбить их на разные смысловые группы. Также “затык” на определенном вопросе может сигнализировать о том, что он непонятен или сложночитаем — стоит обращать на такие вопросы особое внимание.
- 5. Не игнорируйте противоречия
При интерпретации полученных данных смотрите зависимость сразу от нескольких параметров: иногда наиболее логичное объяснение может быть противоречиво, если смотреть под другим углом. Не игнорируйте противоречия в данных в угоду красивого объяснения, а старайтесь их прояснять.
Иногда противоречия в результатах приносят наиболее интересные инсайты. И поэтому мы стараемся обращать особое внимание на неправильные ответы — возможно в них кроется какая-то логика пользователя, которую мы не замечали до этого.
Например, в одном из наших тестов мы просили респондентов добавить видео или музыку в избранное. Но вместо добавления в избранное некоторые респонденты ставили медиа на паузу. Сначала мы думали, что они неправильно поняли задание. Но потом стало ясно, что это логичное и понятное действие. Прежде чем делать что-то с видео или музыкой, некоторым людям важно сначала поставить это на паузу, чтобы не отвлекаться. Иногда неправильный, но частый ответ в клик-тесте может намекать на более выгодное расположение нужного элемента.
- 6. Не нагружайте респондентов слишком сильно
Ограничивайте длину опроса и не увлекайтесь открытыми вопросами, чтобы не утомить респондентов. Чем дольше люди проходят тест, тем чаще они выбирают первый попавшийся ответ, и тем более невнимательно читают вопрос. Немного людей готовы на безвозмездной основе потратить больше 10 минут на прохождение опроса и писать пятый по счету развернутый ответ, почему они выбрали именно этот вариант. Один из способов сократить количество заданий и нагрузку на респондента — использовать сплит-тестирование.
Если вам понравился этот текст — подписывайтесь на наш телеграм-канал. Здесь будет больше интересных разговоров с крутыми экспертами и командами: https://t.me/pthwy