ГЛАВА 3
Как проанализировать результаты и сделать выводы
3.1 Что учесть, прежде чем делать выводы
Три важных напоминания:
- У любого теста есть ограничения, и ни один из них не будет достоверен на 100%.
- Тест не диктует за вас интерфейсное или продуктовое решение — он только помогает его принять, сделать выбор на основе проверенной информации.
- Одно исследование, тем более немодерируемое, вряд ли ответит на продуктовый вопрос.
3.2 Что делать с результатами теста
Посмотрите комментарии или развернутые ответы респондентов, если они есть:
- Уберите ответы, которые явно написаны наобум или неосмысленно.
- Посчитайте, в каком количестве комментариев респонденты указывали на проблемы с вопросом или макетом. Если таких ответов много (больше 10%), исправьте ошибку и проведите тест еще раз.
Оцените численные метрики, если получили их по результатам исследования.
Посчитайте уровень значимости, если в тесте сравнивали несколько вариантов, — так оцените вероятность того, что различия есть не только в выборке, но и в генеральной совокупности.
Количество респондентовРезультат
Вариант А
Вариант Б
Вариант А
Вариант Б
Уровень значимости
Вероятность того, что реальное значение находится в пределах погрешности. В большинстве случаев используют 95%.
Значение должно быть от 0% до 100%.
Разница не значимая
Оцените погрешность, чтобы проецировать результат на генеральную совокупность.
Количество респондентов
Полученное значение
Уровень значимости
Вероятность того, что реальное значение находится в пределах погрешности. В большинстве случаев используют 95%.
Значение должно быть больше 0.
Погрешность ± NaN%.
С вероятностью 95% на всей совокупности пользователей такой же ответ дадут от NaN% до NaN% людей.
Следующая глава