Usability тестирование что это
Юзабилити-тестирование: как проводить и для чего оно нужно
Любой бизнес завязан на клиентах, и понимание своей аудитории всегда ведет к успеху. Ранее мы рассказывали про анализ трафика аудитории в Яндекс.Метрике и Google Analytics, сегодня же поговорим о другом инструменте изучения аудитории.
Юзабилити-тестирование — это способ оценки интерфейса сайта (или мобильного приложения, ПО) с позиции удобства и эффективности. Для этого приглашаются представители целевой аудитории (респонденты), с которыми очно и удаленно проводится тестирование интерфейса. Затем анализируется обратная связь и формируются выводы о проблемах в проекте.
Почему важно проводить юзабилити-тестирование
В целом юзабилити-тестирование показывает клиентам, что вам важно их мнение и оно может помочь в формировании лояльности к бренду.
Основные этапы юзабилити-тестирования
Чтобы понять, как применять метод, разберемся в основных этапах проведения юзабилити-тестирования.
1. Определение цели
В первую очередь нужно понять, для чего мы проводим тестирование и какую информацию хотим получить. Например, мы пытаемся выяснить, почему сайт приносит мало заказов, или необходимо понять, в какой обстановке клиенты используют приложение, либо же нужно получить обратную связь по новому разделу и т.д. В зависимости от задач подбираются соответствующие инструменты и способы оценки результатов.
При необходимости рекомендуем определить исходные метрики, например, показатель конверсии, количество звонков в месяц, время на сайте, в зависимости от поставленной цели.
2. Определение плана тестирования
На данном этапе конкретизируем нашу цель, например, мы хотим оценить процесс оформления заказа. Предварительно формируем сценарии, по которым, как нам кажется, оформляют заказ пользователи, чтобы на него ориентироваться.
Пример одного из сценариев:
Также стоит рассмотреть варианты, когда пользователь зашел не с Главной страницы, сначала авторизировался, оформил заказ через форму «заказ в 1 клик» и т.д.
Сценарии следует протестировать самостоятельно перед проведением исследования, чтобы пользователи не натыкались на очевидные ошибки, например, неработающую форму заказа или пустой раздел.
Далее, на основе сценариев, готовим задания для пользователей. Необходимо продумать формулировку задания, в каких случаях мы будем считать его выполненным и какие гипотезы мы будем проверять. Например:
Задание: выбор стиральной машины
Описание: вы собираетесь купить стиральную машинку. Подберите и положите в корзину похожий товар.
Критерии выполнения:
Дополнительные вопросы (которые можно задать после выполнения задания):
Следующие задания можно сконцентрировать на странице товара, странице корзины, форме заказа и т.д.
На этапе формирования сценариев и заданий для пользователей хорошо виден объем работ. Рекомендуем не перегружать пользователей и дробить задачи — например, тестирование десктопной версии отделить от тестирования мобильной версии или провести отдельно тестирование для юридических и физических лиц. Это поможет и вам не запутаться в результатах, и провести более качественную оценку интерфейса.
3. Выбор инструментов
Теперь определяемся с форматом тестирования. Существуют модерируемые и немодерируемые тестирования.
Модерируемое юзабилити-тестирование — данное тестирование проводит специалист (модератор): дает задания, следит за ходом проведения тестирования, задает уточняющие вопросы. Дополнительно можно пригласить независимого наблюдателя, который будет также фиксировать результаты.
Плюсы модерируемого юзабилити-тестирования:
Минусы модерируемого юзабилити-тестирования:
Дополнительно модерируемое тестирование можно разделить на очное (когда респондент и модератор находятся в одном помещении) и удаленное (модератор связывается с респондентом по видеосвязи). Более качественную обратную связь дает очное тестирование, но оно более дорогостоящее и времязатратное.
Немодерируемое юзабилити-тестирование — в данном случае вместо специалиста модератором выступает сервис, который в автоматическом режиме дает задания, собирает обратную связь и выдает статистическую информацию.
Специалисту необходимо лишь загрузить шаблоны задания и указать целевую аудиторию (часто такие сервисы сами подбирают целевую аудиторию, но можно привести и своих пользователей).
Какое тестирование лучше выбрать?
Если у вас новый сайт или прототип, то лучше всего начать с модерируемого тестирования. Модератор сможет дополнить недостающую информацию.
Если же у вас уже готовый сайт, то можно начать с немодерируемого тестирования, особенно если бюджет ограничен.
В идеале правильно сочетать модерируемое и немодерируемое тестирование, чтобы получить более полную информацию.
4. Выбор респондентов
Для начала рекомендуем изучить вашу целевую аудиторию и определить основные группы клиентов. Дополнительно рекомендуем проводить тестирование на новых пользователях (видят сайт в первый раз), чтобы в тестировании также участвовала «холодная» аудитория.
Количество респондентов зависит от вида тестирования и количества найденных групп клиентов. Рекомендуем начинать с 5 человек для каждой группы, например, опросить 5 новых посетителей сайта и 5 постоянных клиентов. Если результаты тестирования будут спорными, то вы всегда сможете привлечь дополнительных пользователей.
5. Проведение тестирования и анализ результатов
Перед проведением тестирования важно поговорить с пользователем, объяснить цель исследования и донести, что будут проверяться не его способности, а понятность и информативность интерфейса или прототипа. Обязательно попросите респондента комментировать свои действия. Это поможет вам лучше понять, что происходит в каждый момент выполнения заданий.
На что еще обратить внимание при проведении юзабилити-тестирования?
Старайтесь не задавать наводящих вопросов, не комментировать действия пользователей. Помните, вы сторонний наблюдатель, а не участник выполнения заданий.
Ведите видео- и/или аудиозапись, чтобы была возможность пересмотреть спорные моменты тестирования. И не забываем предварительно взять с респондента согласие.
Записывайте свои мысли, инсайты после проведения интервью или во время просмотра записей. Тестирование — долгий процесс, полезно будет периодически перечитывать свои записи. При респонденте лучше не отвлекаться на записи, так как чаще всего это смущает пользователя.
Для модерируемого тестирование проводите не более 3-х интервью в день. Чем больше интервью, тем больше вы устаете и можете пропустить важные детали.
Структурируйте результаты. Составьте три списка идей: те, что сработали, спорные моменты и то, что не работает. По тем моментам, что вызывают сомнения, отдельно стоит выписать идеи и предложения респондентов.
Не затягивайте интервью. Выделяйте час-полтора на каждого респондента, в целом 5-10 заданий будет достаточно.
6. Внедрение изменений после юзабилити-тестирования
Полученные ошибки и недочеты стоит разделить на три группы:
Серьезные ошибки, когда что-то не работает и это препятствует выполнению сценариев. Сюда же относятся фэйлы, которые приводят к потере больших средств (уходит большой процент клиентов).
Крупные недочеты, которые не всегда мешают взаимодействию с сайтом, но могут отталкивать пользователей — например, долгая загрузка формы.
Мелкие недостатки, которые могут раздражать, но не помешают пользователю выполнить целевые действия. Например, отсутствие сообщения подтверждения после отправки заявки или неряшливая верстка текста.
Конечно же, рекомендуем исправлять все найденные проблемы. Для экономии времени и средств начать стоит с серьезных ошибок, чтобы не терять клиентов.
После внедрения доработок стоит подождать несколько месяцев и повторно замерить метрики, которые определили на этапе формирования цели. Сравниваем результаты и делаем выводы. А затем можно снова начинать тестирование для поиска новых проблем.
Какое оборудование необходимо для проведения юзабилити-тестирования
Для модерируемого очного тестирования лучше выделить отдельное тихое помещение (лабораторию), чтобы посторонний шум не мешал общению, даже если тестирование проводится удаленно.
Минимальный комплект оборудования:
Из ПО понадобится программа для записи видео и аудио, а также приложение для съемки экрана респондента.
Для проведения немодерируемого тестирования рекомендуем такие сервисы, как UXCrowd и Fabuza (Фабрика юзабилити). В каждом из данных сервисов можно бесплатно провести пробное исследование.
Вот пример интерфейса от UXCrowd:
Идеальный сервис для первого тестирования с небольшим количеством респондентов. Много разных типов вопросов, которые можно добавлять в любую часть сценария. Все на русском языке. Есть возможность как набрать респондентов из базы сервиса, так и привлечь своих.
Скриншот из личного кабинета сервиса Fabuza:
Более функциональный сервис, где можно проводить различные виды тестирования (опросы, интервью, тесты баннеров и т.д.) и больше инструментов для анализа данных. Интерфейс также на русском языке. В качестве респондентов могут выступать как ваши клиента, так и люди, подобранные сервисом.
На самом деле сервисов намного больше (UsabilityHub, Loop11, Userlytics, Userfeel и др.), но будьте готовы встретиться с интерфейсом на английском языке.
Заключение
Проведение юзабилити-тестирования поможет вам увидеть, как на самом деле пользователи взаимодействуют с сайтом (прототипом), и позволят лучше понимать ваших клиентов. На основе полученной информации вы не только сможете доработать интерфейс, но и наверняка у вас появятся новые идеи по расширению и улучшению продукта.
Если вам нужна помощь в проведении тестирования сайта, то вы всегда можете обратиться к нам за помощью.
Юзабилити-тестирование по шагам или оценка дизайна HCD
Перепроектирование сайта
Когда стоит проводить юзабилити-тестирование и что ему предшествует?
В случае уже разработанного сайта вопрос о проведении юзабилити-тестирования возникает, когда вы почувствовали или обнаружили, что с сайтом что-то не так. В любом случае необходимо установить Google analytics (книга: Google Analytics. Профессиональный анализ посещаемости веб-сайтов) или другой сервис для аналитики посещения сайта. О том, почему следует устанавливать такой сервис, я рассказывать не буду, так как тема уже давно исчерпана и не рекомендует устанавливать подобные сервисы только ленивый. После установки Google analytics у вас уже появляются конкретные данные о статистике посещений, местах входа и выхода посетителей сайта и другая информация.
Следующим шагом должно быть определение KPI (Wikipedia: Key Performance Indicators — ключевые показатели эффективности). Необходимо проанализировать, что важно для бизнеса, определить цели, которые должны быть достигнуты сайтам.
Пример: для кого-то это могут быть заказы товара, для кого-то обращения через форму обратной связи с какими-либо вопросами и т.д.
Если до этого момента рекомендации носили обязательный характер, то есть в любом случае данные шаги помогут в развитии и продвижении сайта, то далее уже идут рекомендации, в случае если вы действительно поняли, что сайт не эффективен.
Третьим шагом является уже непосредственное определение проблемных страниц и функций. Просто проводить юзабилити-тестирование неэффективно, необходимо понять, где возникают проблемы, на какой странице, с какой функцией, а потом уже проводить тестирование для определения, что именно не так на странице и как это решить. Опять же поможет Google analytics, тут можно определить, с каких страниц уходят пользователи, какие страницы игнорируются, и какие функции не используются.
Подготовка к юзабилити-тестированию
Итак, на данный момент уже определено, что сайту требуется перепроектирование, нашли страницы и функции, с которыми возникают проблемы у пользователей. Осталось дело за малым — понять, почему у пользователей возникают проблемы и как их исправить.
Четвертым шагом должно стать формирование гипотез по поводу того, что не так со страницей, и исходя из этого, необходимо определить метрики (Wikipedia: ISO 9126 — Оценка программного продукта), по которым будут тестироваться функции (есть метод экспертной оценки, при котором эксперт выдвигает гипотезы по улучшению интерфейса сайта и, исходя из них, происходит перепроектирование сайта, однако проверить, действительно ли эта гипотеза верна, можно только по итогу внедрения изменений, что влечет за собой большую цену ошибки).
Пример: с помощью Google analytics мы определили, что пользователи заходят на страницу регистрации, однако ее не проходят. Возможно, пользователи не могут понять, какую информацию вводить в поля или не знают, что делать дальше, после заполнения полей. Значит, нам необходимо протестировать данную страницу по метрикам понятности системных сообщений и эксплуатационной последовательности.
После определения метрик, по которым будем тестировать проблемные зоны на сайте, необходимо определить персонаж и сценарий работы (книга: Алан Купер об интерфейсе. Основы проектирования взаимодействия), по которому будет проводиться юзабилити-тестирование. Данный шаг необходим для привлечения нужных респондентов и выбора задания для юзабилити-тестирования. Если упустить этот момент, то респондент, который не является целевым пользователем, может с успехом пройти проблемную зону, а у пользователя, который действительно использует данную страницу, возникнут действительно большие проблемы. Итогом будет перепроектирование интерфейса без учета данных, а проблема останется. Точное определение сценария поможет дать респонденту правильное задание. То есть, если задание будет купить мобильный телефон, а респондент и вовсе не будет регистрироваться (а мы тестируем именно регистрацию), то юзабилити-тестирование бесполезно.
Примечание: подбирайте сценарий так, чтобы как можно больше было протестировано проблемных зон.
Далее идет подбор респондентов исходя из выбранного персонажа. Чем больше респондент соответствует портрету персонажа, тем лучше. Достаточное количество респондентов – 5-8 человек. В выборе количества я основываюсь на рекомендации Якоба Нильсена и собственный опыт.
Проведение юзабилити-тестирования
Непосредственно перед самим юзабилити-тестированием дайте респонденту заполнить анкету, чтобы проверить на соответствие необходимых характеристик у выделенного персонажа и респондента. Проведите вводный инструктаж, в ходе которого опишите контекст использования сайта и задание (книги: Веб-дизайн: книга Стива Круга, или «не заставляйте меня думать!»).
Пример задания: в поисках нового мобильного телефона вы, через поисковую систему, зашли на данный сайт. Найдите телефон, который вам необходимо (также попросите респондента описать телефон, который он будет искать).
Проведение самого юзабилити-тестирования (программа: Usability Studio) не такая, как кажется, сложная задача. Вам необходим ноутбук с камерой и несколько программ для записи движения пользователей и записи действий с экрана. Попросите респондента комментировать все его действия и эмоции. Как практика показывает, он и так это будет делать (и в этом нет ничего удивительного, ведь даже в домашней обстановке пользователи зачастую очень любят ругать или наоборот холить различные формы и другие элементы на сайтах).
После завершения тестирования опросите респондента о его впечатлении, с какими он трудностями сталкивался и что ему показалось неудобным. Данные опроса не рекомендую использовать как закон для изменения всего, что ему не нравится. К пользователям нужно прислушиваться, однако очень недоверчиво относиться к его субъективному мнению. Лучше, если по результату опроса появилась гипотеза о необходимости изменения интерфейсов, внесите еще один пункт в список проблемных зон и протестируйте ее в следующей итерации.
Обработка данных юзабилити-тестирования
Далее необходимо просмотреть собранные видео материалы, проанализировать результаты юзабилит-тестирования и определить требования к интерфейсу для перепроектирования (книга: Web-дизайн. Удобство использования Web-сайтов). Изменения, которые будут внесены, исходя из определенных требований, стоит проверить при следующем юзабилити-тестировании. Количество таких итераций во многом должно зависеть от целей и бюджета, выделенного на перепроектирование сайта.
Примеры: добавить подсказки в форму регистрации, выделить кнопку покупки, добавить поле “платформа” в форму подбора телефона по параметрам и т.д.
Проектирование сайта
Вариант количественного юзабилити-тестирования я не рассматриваю, так как оно позволяет определить общую эргономичность интерфейса, но не позволяет определить какие проблемы возникают, почему и как их исправить.
Что такое юзабилити-тестирование?
С начала 90-х годов термины «Удобство использования» и «Пользовательский опыт (UX)» постоянно обсуждаются в мире дизайна и часто упоминаются как «обязательные» в процессе проектирования продуктов и услуг на нескольких платформах.
В этой статье мы рассмотрим важность тестирования юзабилити и его преимущества как для конечного пользователя, так и для вашего бизнеса.
Существует ряд инструментов UX, которые направлены на улучшение качества обслуживания клиентов, но не квалифицируются как «инструменты тестирования пользователей», поскольку они не позволяют явно копировать опыт реальных пользователей при тестировании веб-сайта или мобильного приложения на функциональность. Вот несколько методов, которые не квалифицируются как тестирование пользователя:
Этот метод, также называемый сплит-тестированием, заключается в сравнении нескольких версий веб-страницы, чтобы определить какая из них более эффективна.
Опросы не позволяют наблюдать за действиями пользователей на сайте, по этой причине не считаются методом юзабилити-тестирования.
Как пользовательское тестирование, так и юзабилити-тестирование необходимы для UX-дизайна, который создает и повышает качество пользовательского опыта.
Если тестирование пользователей дает вам более глубокое понимание потребностей и поведения пользователей, то юзабилити-тестирование поможет вам найти функциональные проблемы в вашем дизайне, которые вы никогда не ожидали.
Каковы преимущества юзабилити-тестирования?
Независимо от того, где вы находитесь в процессе проектирования, от прототипирования до готового продукта, ваш сайт или приложение все равно могут извлечь выгоду из юзабилити-тестирования. Это дает множество преимуществ как для будущих пользователей продукта, так и для компании, создающей его, например:
В мире, где доминируют смартфоны, взаимодействие с мобильными клиентами становится все более важным. Хотя пользовательский интерфейс приложения имеет решающее значение, удобство использования всегда должно иметь приоритет, поскольку речь идет как о хорошем дизайне, так и о чистой функциональности. Игнорирование этого в процессе разработки поставит ваше приложение под угрозу удаления или, что еще хуже, плохих отзывов.
Что такое usability и зачем нужны usability тестирования?
Из этой статьи Вы узнаете:
Начнем с самого термина usability, который многие часто путают с UX (user experience). UX — это весь опыт, который получает пользователь в процессе использования продукта. Некоторые иногда включают в понятие UX также и этапы до и после контакта с продуктом (маркетинговые материалы, впечатления от использования, обсуждения продукта с друзьями), однако это уже на самом деле относится уже к более широкому понятию customer experience (CX). Вот так это можно представить на схеме:
В сложившейся сейчас ситуации на рынке мобильных приложений, когда цена привлечения одного пользователя постоянно растет, UX становится краеугольным камнем вовлечение и долгосрочного удержания новых пользователей.
В отличие от UX, который формируется на стороне пользователя, usability — это свойство самого продукта быть простым и удобным в использовании. Usability сложно измерить в каких-то численных показателях: обычно он измеряется наличием или отсутствием у пользователя проблем или фрустрации во время использования продукта. Usability — это основа, фундамент UX вашего продукта, который должен обеспечить Вам рост вовлечение и удержание.
Выделяют пять основных критериев usability:
Зачем тестировать? Одной из самых сложных задач в разработке игры ил иприложения является необходимость принятия дизайнерских решений в условиях минимальной или отсутствующей информации. Будет ли понятна игрокам основная механика? Ясно ли пользователям, для чего служит этот пункт меню? Как должен выглядеть HUD и какая информация на нем должна быть отображена?
Основной задачей usability тестирование является понимание того, как целевая аудитория воспринимает и взаимодействует с продуктом. Это помогает принимать информированные дизайнерские решения, видеть возникающие проблемы заранее и знать, как изменять продукт, чтобы сделать пользовательский опыт лучше. Юзабалити тесты, как и сам продукт, должны служить одной общей цели — сделать пользователей вашего продукта счастливыми.
Когда тестировать? Многие разработчики задаются вопросом. Всегда хочется показать свой продукт игрокам/пользователям в лучшем виде. А вот тут еще модели не закончены. А здесь хочется чуть-чуть баланс получше настроить. А здесь еще не все кнопки отрисовали и т.д.
На самом деле, проводить юзибилити тесты можно (и нужно!) уже начиная со стадии первых прототипов. Это позволит вам сэкономить время и деньги на работу над тем, что заведомо пользователю не подойдет. Нет ничего страшного в том, чтобы показывать пользователю прототип, собранный на Wireframe. Главное — заранее задать рамки и объяснить пользователю, какие функции нужно оценивать, а какие пока не готовы.
Безусловно, внешний вид и общий функционал приложения важны для пользователя, и когда он оценивает такую “урезанную” версию продукта это влияет на его впечатление в целом. Однако данные, собранные даже в таких условиях, намного ценнее полного информационного вакуума.
Разобрались, значит тестировать лучше раньше, чем позже. Однако это не значит, что usability тестирования не нужны на поздних стадиях разработки и даже после релиза. Просто на каждом этапе разработки usability тестирования, хоть и служат общей цели, выполняют, как правило, выполняют свою роль. Подробнее о том, на каких этапах какие виды тестирований (и не только) применять мы подробнее поговорим в следующих статьях.
Как часто тестировать? Если Ваша цель — создание хорошего UX в вашей игре или приложении, то usability тестирования стоит проводить несколько раз в процессе разработки, с каждой итерацией учитывая фидбек, полученный от пользователей, и тем самым улучшая продукт.
Во многих постмортемах игр в последнее время очень часто повторяется одна и та же проблема — недостаточное количество плейтестов. Хорошей практикой является проведение небольших плейтестов/usability тестов (с выборкой 5-10 человек) раз в две-три недели, когда ваша версия значимо меняется (вводятся новые фичи, изменения по сравнению с предыдущими тестами). Также в процессе разработки мы обычно рекомендуем проводить 2-3 плейтеста с большей выборкой (30-50 человек) для сбора оценок разных составляющих продукта и оценки его рыночного потенциала (Движется ли разработка в правильном направлении?)
На сегодня все. В следующей статье поделюсь с вами алгоритмом проведения usability тестирования, который мы используем у себя и которого рекомендуем придерживать нашим клиентам.
Вкусный и здоровый гайд по юзабилити-тестированиям
В этой статье будет подробно рассказано о том, как проводить удаленное модерируемое юзабилити-тестирование на наглядном примере
Расскажу вам историю о том, как непродуманный интерфейс помешал мне сделать покупку.
Я ввел в поисковой строке “Шантрам” и получил коллекцию книг про “шатры”. Это меня озадачило.
Я открыл еще несколько книжных интернет-магазинов и попробовал ввести в каждом “Шантрам”. Бинго! Из трех магазинов, один нашел “Шантарам” Робертса, несмотря на то, что я переврал название. Как я был рад. Времени на поиски потратил много, но в итоге нашел желаемое и купил книгу.
А в Лабиринте, кстати, книга была, просто поиск у него работает так, что если ошибешься, то ничего не найдешь. Такое часто встречается в интернет-магазинах.
В целом интерфейс Лабиринта хорош, но казалось бы проблема в поисковом алгоритме привела к потере клиента и падению конверсии. Обидно, досадно! Этого можно было бы избежать, если провести юзабилити-тестирование на пользователях и исправить обнаруженные проблемы.
Юзабилити тестирование – это способ понять, удобен ли интерфейс. Обычных пользователей приглашают поработать с продуктом и наблюдают как они выполняют задания и с какими сложностями сталкиваются в процессе.
Тестирование организует юзабилити-специалист, который планирует исследование, проводит сессии тестирования, анализирует результаты и пишет отчет.
Мы в компании “Ю-эксперт” специализируемся на юзабилити-услугах и особое место среди них занимает юзабилити-тестирование. В этой статье мы познакомим вас ближе с этим методом и подробнее расскажем как он работает.
Что можно узнать благодаря юзабилити-тестированию
Увидеть точки снижения конверсии и узнать, почему клиенты уходят
Получить список проблем с приоритетами и рекомендации, как их устранить.
Узнать, почему пользователь уходят с сайта
Узнать, что мешает клиентам сделать покупку / зарегистрироваться / совершить конверсионное действие
Для каких продуктов подходит
Тестировать можно любые продукты, с которыми работают пользователи и это не только компьютерные интерфейсы:
Терминалы, банкоматы, кассы самообслуживания
В каких отраслях применяется
Юзабилити-тестирование применимо во многих отраслях, но чаще всего его используют интернет-магазины, банки и финансовые организации, сотовые компании, государственные структуры, онлайн-сервисы предоставляющие услуги, например: обучение английскому, продажа электронных билетов и тп.
Юзабилити-тестирование используется для:
Проверки прототипов нового продукта
Качественное тестирование проводят:
Если у компании есть бюджет только на один вид тестирования, то мы советуем начинать с качественного, так как оно найдет проблемы, а затем переходить к количественному, которое определит, насколько проблемы критичны.
Помимо перечисленных вариантов юзабилити тестирование можно комбинировать с другими типами исследований, например, с глубинным интервью, карточной сортировкой, наблюдением и тп.
Прежде чем начинать юзабилити-тестирование определитесь с целями и объектом тестирования. Этот этап нужен всегда, включая случай, когда тестирование проводится внутри компании без привлечения внешних специалистов.
На встрече с бизнесом обсуждаем:
Вопросы к пользователям
Примеры вопросов бизнесу
Какой продукт изучаем?
Пример: сервис доставки пиццы
Представьте, что нужно провести юзабилити-тестирование сервиса доставки пиццы и роллов. У компании есть сайт, мобильная версия сайта и мобильное приложение. Бюджет и время ограничены, поэтому нужно выбрать только один интерфейс для тестирования. Посмотрев аналитику сайта (yandex или google), специалист увидел, что наиболее востребован мобильный сайт, поэтому с него он будет начинать тестирование.
На встрече с бизнесом были обозначены три основные задачи для тестирования:
Состав участников тестирования зависит от задач бизнеса. На исследование можно приглашать как существующих клиентов, так и потенциальных пользователей.
Если цель бизнеса привлечь новых пользователей или заинтересовать клиентов конкурирующей компании, то на тестирование стоит приглашать респондентов, которые еще не работали с продуктом, но он может быть им интересен.
Сколько человек приглашать на юзабилити-тестирование
Якоб Нильсен, один из основоположников юзабилити, писал, что 5 пользователей находят 85% проблем в интерфейса. Мы склоняемся к тому, чтобы приглашать по 8 человек из каждой целевой группы, так как это позволит обнаружить 95% проблем.
Если тестирование проводится для двух и более сегментов целевой аудитории, то из каждого приглашают по 4-6 человек, в зависимости от того, насколько сильно они отличаются. Например, если группа 1 никогда не работала с продуктом, а группа 2 состоит из опытных пользователей, то из каждой нужно взять минимум по 5-6 человек.
Пример: каких пользователей пригласить на тестирование сервиса доставки пиццы
Теперь заказчику нужно определиться с целевой аудиторией. Если в компании есть специалисты, которые непосредственно общаются с пользователями, то они могут помочь с портретами клиентов. Также хорошим подспорьем будет статистика на сайте. Требования к участникам тестирования прописываются в “скринере”.
В случае с доставкой еды аудитория будет широкой, многие любят пиццу и роллы. Основной критерий для набора респондентов можно сформулировать так: пользователь заказывал роллы или пиццу с доставкой хотя бы раз в течение трех месяцев.
Можно пригласить 4 опытных пользователей, которые хотя бы 1-2 раза в месяц заказывают еду через мобильный сайт и 4 неопытных пользователей, которые делают заказы реже раза в месяц.
В случае с пиццерией достаточно 8 пользователей:
4 клиента данной пиццерии и 4 потенциальных клиента. В основу выборки можно заложить опыт работы с сервисом, так как он непосредственно влияет на то, с какими проблемами столкнутся пользователи. Если задача бизнеса привлечь новых клиентов, то можно пригласить только тех, кто не пользовался сайтом ранее.
Важно помнить, что участники тестирования не будут работать на чистом энтузиазме, их надо поощрять. В зависимости от проекта вознаграждение варьируется.
Самый лучший респондент тот, кому интересен продукт. Поэтому, если можно наградить участника непосредственно тем, что предлагает компания, на тестирование придут самые заинтересованные пользователи.
Например, если тестируется интернет-магазин для кошек и собак, то респонденту дают купон на определенную сумму для приобретения любых товаров на сайте. Если тестируются курсы английского языка, то пользователь получает несколько бесплатных уроков. Если важно привлечь пользователей, которые не являются фанатами продукта, то тогда предлагайте денежное вознаграждение.
Пример: какое вознаграждение использовать для респондентов, тестирующих сервис доставки пиццы
В случае с доставкой пиццы и роллов респондент во время исследования может заказать настоящую пиццу и роллы, которые съест после тестирования, плюс его наградят дополнительным купоном на будущий заказ.
Сценарий тестирования в чем-то похож на сценарий фильма. В нем прописываются все основные вопросы, который модератор задает пользователю, действия, которые в идеальной ситуации должен совершить пользователь и критерии, по которым мы считаем эти действия успешными или нет. Как и в случае с кино, без сценария тестирование не проводят.
Основные разделы сценария
Задания тестирования. Это основная часть сценария. В каждой задаче формулируется цель, которую пользователь должен достичь и описываются обстоятельства, которые влияют на процесс ее достижения. Желательно сформулировать задачу таким образом, чтобы она перекликалась с реальными потребностями респондента и его ответами на вводные вопросы.
Обычно в часовое тестирование укладывается 5-7 задач
Пример сценария для тестирования сервиса доставки пиццы
Вступительная часть сценария стандартная. Здесь модератор рассказывает респонденту, что тестировать будут не его способности, а интерфейс. В зависимости от целей исследования пользователя просят комментировать выполнение задач или хранить молчание. Второй метод используется, когда необходимо замерить время выполнения задания. Тогда комментарии респондент дает уже после выполнения задания.
Пользователя обязательно спрашивают не против ли он, если тестирование будет записываться на видео. А также просят хранить детали тестирования в тайне, если это важно для заказчика.
Опыт заказа пиццы и роллов: Любите ли вы пиццу и роллы? Где вы обычно их едите? Как часто? Вы заказывали когда-нибудь пиццу или роллы в сервисе доставки? С каких устройств вы это делали? Как часто вы заказываете пиццу и роллы? В каких ситуациях?
Сформулируем первую задачу сценария
Представьте, что к вам скоро придут ваши друзья. У вас будет компания из 4 человек. Закажите на компанию пиццу и напитки через этот сервис.
Зададим вопросы после выполнения задания
Далее замеряем метрики, после задания
Подробнее мы рассмотрим метрики далее, а в данном случае замерим следующие:
Кроме представленных в примере метрик, можно замерять и другие. Подробнее о них мы расскажем дальше в статье.
После тестирования сервиса доставки пиццы у пользователя можно спросить:
Далее можно измерить несколько метрик, если есть необходимость и завершить тестирование, выразив пользователю благодарность за участие.
Когда применяется объективное время и как оно измеряется:
Когда применяется субъективное время и как оно измеряется:
Сложность. Это субъективная метрика, которая определяет, насколько было сложно или легко выполнять задание. Пример вопроса:
В зависимости от продукта и целей исследования вопросы можно задавать тем или иным образом.
Кроме перечисленных можно измерять другие, такие как: семантический дифференциал, количество ошибок, критичность ошибок и тп. Это обширная тема для обсуждения, мы постараемся рассказать о ней в отдельной статье.
Пример: сервис доставки пиццы
Для тестирования мобильной версии сайта сервиса доставки пиццы мы выбрали следующие метрики.
После завершения всех сессий тестирования модератор считает среднее значение для каждой метрики по всем респондентам и обращает внимание на те, которые вышли из диапазона.
После того, как сценарий написан и утвержден бизнес-заказчиком важно провести пилотное тестирование. У него есть несколько целей:
К “пилоту” желательно привлекать пользователя из целевой аудитории, тогда оно будет наиболее приближено к реальному тестированию. Если такой возможности нет, то можно тестировать коллегу или знакомого, который наиболее близок к целевой аудитории.
Иногда во время пилота выясняется, что нужно:
После пилотного тестирования и рекрутирования нужно составить график тестирований. Для комфорта пользователя и качественных результатов каждая сессия тестирования должна длится не более часа. Однако, на каждое тестирование нужно закладывать 1,5-2 часа, так как пользователь может опоздать к началу или сессия тестирования затянуться.
В случае очного тестирования заказчик может наблюдать процесс из соседней комнаты, если тестирование удаленное, то он подключается к zoom или skype, а также может посмотреть тестирование в записи.
Пример: юзабилити тестирование сервиса доставки пиццы
Юзабилити тестирование сервиса доставки пиццы было решено проводить на мобильном телефоне, так как мобильной версией сайта пользуется больше половины клиентов. Тестирование проводится удаленно на мобильном телефоне респондента.
Программа, через которую проводится тестирование должна уметь расшаривать экран и вести видеозапись. В качестве инструментов мы выбрали Skype и Zoom. Предпочтительно иметь в распоряжении две программы, так как одна может не работать на устройстве респондента.
При звонке пользователю рекрутер предупреждает, что тестирование будет удаленным, оно будет длиться около часа и для этого нужно приложение Zoom или Skype, установленное на телефон.
Модератор созванивается с пользователем и просит его расшарить экран телефона через приложение, а также включает запись.
Во время тестирования важно, чтобы модератор не подсказывал пользователю и не помогал выполнять задания. Модератор может отвечать на вопросы пользователя и помочь разобраться с продуктом только после окончания тестирования или в отдельных случаях после выполнения задания.
После завершения сессий юзабилити-тестирования специалист работает с данными, полученными на тестировании, и пишет отчет. Для этого он:
Пример: усредненные метрики после тестирования сервиса доставки пиццы (8 участников тестирования)
В этом тестировании измерялись:
Примеры цитат пользователей из тестирования:
“Я бы никогда здесь не стала заказывать пиццу. Вот как заказать сет? Я не понимаю. Тут просто название пиццы “Деревенская”. А что в нее входит? Не понятно. И главное не нажать никуда и не посмотреть. Честно говоря у меня нет времени искать ее в каталоге и смотреть состав. Я бы уже на другой сайт ушла”
“Ой, я нажала на сеты роллов и суши, а он мне тут игральные карты и туалетную бумагу предлагает. Вот умора. Я бы уже ушла с сайта, честное слово”
После анализа видеозаписей и метрик специалист пишет отчет о тестировании, который состоит обычно из следующих разделов:
Рассмотрим подробнее разделы отчета на примере тестирования сервиса заказа пиццы.
Пример: отчет о юзабилити-тестировании сервиса заказа пиццы
Сначала идет описание методологии тестирования. Здесь кратко описывается метод тестирования и процедура, а также используемые метрики.
Кратко описывается сценарий тестирования: вводные вопросы, на которые пользователь отвечал до начала тестирования, а также перечисляются задачи.
Далее отдельным слайдом идет описание участников тестирования без указания их персональных данных. Можно указывать только основные параметры, например: город проживания, возраст, опыт заказа пиццы и тп.
Затем слайд с общими выводами о юзабилити-тестировании сервиса. Здесь вкратце описываются наиболее критичные проблемы и приводится таблица с метриками.
Юзабилити-тестирование помогает найти проблемы в интерфейсе, “побывать в голове пользователя” и понять, как он работает с продуктом. Нужно иметь в виду, что по результатам исследования юзабилити-специалист не сможет перепроектировать интерфейс, он даст советы, как это сделать, а дальше нужно привлекать проектировщиков, дизайнеров и программистов.
К юзабилити-тестированию стоит относиться как диагнозу, который дает врач, а дальше начинать “лечение продукта” в соответствии с рекомендациями.
Юзабилити-тестирование процедура многоразовая. Его нужно повторять регулярно, особенно после таких важных этапов, как проектирование, редизайн и тп.
Для большего погружения в юзабилити-тестирования советую почитать книгу Стива Круга “Не заставляйте меня думать”, пройти курс по юзабилити на одном из порталов онлайн-обучения или обратиться в юзабилити-агентство, которое проведет тестирование за вас.
В случае, когда нет возможности провести юзабилити-тестирование (например, нет времени или не хватает бюджета), мы советуем заказать юзабилити-экспертизу интерфейса. Она поможет найти основные проблемы в продукте и получить рекомендации, как их устранить.