Pathway
ГЛАВА 3

Как проанализировать результаты и сделать выводы

3.1 Что учесть, прежде чем делать выводы

Три важных напоминания:

  1. У любого теста есть ограничения, и ни один из них не будет достоверен на 100%.
  2. Тест не диктует за вас интерфейсное или продуктовое решение — он только помогает его принять, сделать выбор на основе проверенной информации.
  3. Одно исследование, тем более немодерируемое, вряд ли ответит на продуктовый вопрос.

3.2 Что делать с результатами теста

Посмотрите комментарии или развернутые ответы респондентов, если они есть:

  • Уберите ответы, которые явно написаны наобум или неосмысленно.
  • Посчитайте, в каком количестве комментариев респонденты указывали на проблемы с вопросом или макетом. Если таких ответов много (больше 10%), исправьте ошибку и проведите тест еще раз.

Оцените численные метрики, если получили их по результатам исследования.

Посчитайте уровень значимости, если в тесте сравнивали несколько вариантов, — так оцените вероятность того, что различия есть не только в выборке, но и в генеральной совокупности.

Количество респондентов
Вариант А
Вариант Б
Результат
Вариант А
Вариант Б
Уровень значимости
Вероятность того, что реальное значение находится в пределах погрешности. В большинстве случаев используют 95%.
Значение должно быть от 0% до 100%.
Разница не значимая

Оцените погрешность, чтобы проецировать результат на генеральную совокупность.

Количество респондентов
Полученное значение
Уровень значимости
Вероятность того, что реальное значение находится в пределах погрешности. В большинстве случаев используют 95%.
Значение должно быть больше 0.
Погрешность ± NaN%.
С вероятностью 95% на всей совокупности пользователей такой же ответ дадут от NaN% до NaN% людей.