Волшебник страны Оз. Секреты тестирования голосовых интерфейсов для автомобиля

Уже через неделю, 25 октября, состоится юбилейный, сороковой выпуск UX-Марафона. Он посвящен одной из ключевых тем в сфере UX — исследованиям. И пока спикеры готовят свои выступления, мы решили вместе с вами вспомнить доклад Инги Благодатской, старшего UX-исследователя в компании Атом, об одном из самых необычных видов исследований — тестировании голосового интерфейса для отечественного электромобиля. 

3 столпа обработки голосовых данных

Сами по себе правила UX для голосовых интерфейсов ничем не отличаются от аналогичных правил для графического интерфейса (GUI). Здесь так же важны удобство, понятность, доступность, консистентность, то есть, согласованность данных, и соответствие контексту.

0днако, создание голосовых ассистентов имеет определённые технические особенности. Обработка голосовых данных — значительно более сложный процесс, чем может показаться на первый взгляд. Она включает в себя три отдельных важных этапа: распознавание речи, обработку естественного языка и синтез.

Как это выглядит на практике? Допустим, пользователь просит голосового ассистента открыть окно в автомобиле. При этом звук сначала нужно распознать и преобразовать в текст. Далее идёт обработка естественного языка, а затем определение намерения и выбор сценария, который во многом будет зависеть от того, найдётся ли в системе подходящий сценарий. Потом, когда сценарий выбран, происходит обратное преобразование текста в звук, и пользователь получает ответ от голосового ассистента. 

Таким образом, простая и естественная, на взгляд обычного пользователя, последовательность «вопрос — ответ» применительно к голосовому помощнику выглядит намного сложнее и гораздо менее линейно.

Нюансы тестирования голосовых интерфейсов 

Из сказанного выше напрашивается очевидный вывод, что не только разработка, но и тестирование голосовых помощников будет  значительно отличаться от других разновидностей исследований. Итак, с какими особенностями сталкиваются исследователи  голосовых ассистентов?

1. Отсутствие визуального интерфейса 

• Нет кнопок, подсказок, меню — только звук
• Пользователь может не понимать как взаимодействовать с голосовым интерфейсом
• Приходится тестировать «слепое» использование 

2. Динамичность диалогов  

• Сценарии у разных команд могут быть на разных этапах готовности (черновик, прототип, готовый диалог)
• Возможны незавершённые, не прописанные до конца ветки диалога

3. Проблемы с контекстом  

• Пользователь может перескакивать с одной темы на другую
• Необходимость помнить предыдущие реплики для голосового помощника
• Возможны «потерянные» реплики или неверная интерпретация 

4. Мультимодальность 

• Постоянно нужно проверять синхронизацию между голосом и экраном
• Возможны конфликты между тем, что пользователь слышит от голосового помощника и тем, что он видит на экране

На помощь приходит Волшебник страны Оз

Что же делать, если голосовой ассистент ещё находится на стадии разработки или даже проектирования, а тестировать его нужно уже сейчас? В этом случае для проведения тестов можно использовать метод «Волшебник страны Оз» (WoZ).

Суть его заключается в том, что вместо голосового помощника вы привлекаете к тестированию живого человека — «Гудвина». При этом он может либо напрямую выступать в роли голосового ассистента, озвучивая вместо него необходимые реплики, либо чисто технически переключать на компьютере или другом устройстве записанные заранее реплики, чтобы создавать у пользователя иллюзию диалога с голосовым помощником.

«Гудвин» может имитировать ассистента через телефон или любую программу для онлайн-конференций. Главное, чтобы у него был сценарий ответов, а у респондента был необходимый контекст от модератора. Для записи готовых ответов можно использовать онлайн-сервис для преобразования печатного текста в звук, а затем добавить полученные голосовые файлы в прототип. Тогда «Гудвину» нужно будет только переключать кнопки, что значительно упрощает процесс.

Что важно подготовить перед тестами:

•  Сценарии (с визуалом и без)
•  Примерные диалоги 
•  Контекст использования (например, симулятор автомобиля)
•  Голоса в записи – в том случае, если «Гудвин» только переключает предзаписанные реплики «голосового помощника», а не отвечает пользователю сам

Наконец, самое важное — найти хорошего «Гудвина». В случае, если он будет сам вести диалог с пользователем, это должен быть человек, который хорошо понимает специфику голосового помощника в вашей команде. Если же он будет привлечён в качестве «помощника на клавиатуре» — он должен технически понимать, как это работает, какие кнопки запрограммированы под какой звук и так далее.

Примеры использования. Сценарии и диалоги

Вариант с «Гудвином», напрямую отвечающим на реплики пользователя, хорошо подходит для тестирования сценариев и проектирования диалогов. Респондент размещается за рулем на имитированном водительском стенде и выполняет действия, схожие с управлением автомобилем. Ведущий направляет сессию и задаёт вопросы, а скрытый от глаз испытуемого «Гудвин» имитирует поведение голосового ассистента.

В этом случае метод WoZ позволяет оценить:

• Глубину и продолжительность диалогов 
• Понимание разных формулировок запросов 
• Естественность и уместность ответов 
• Сценарии, вызывающие затруднения у пользователя

В результате тестирование помогает скорректировать сценарии и понять, чего не учла команда, что можно исправить и добавить в разработку.

Примеры использования. Тестирование голоса и UI 

Здесь уже используется полноценный симулятор автомобиля, тестовый стенд, а «Гудвин» выступает как помощник с клавиатурой. Ведущий задаёт контекст, у респондента при этом поддерживается полная иллюзия общения с голосовым ассистентом.

Что проверяем и выявляем в этом случае: 

• Взаимодействие интерфейса и голоса в одно и то же время, совместные кейсы 
• Поведение пользователя, что он делает и с кнопками и голосом 
• Какие задачи пользователь готов доверять голосовому, а какие нет 
• События и ошибки, которые должен озвучивать голос

Естественно, не всё и не всегда идёт гладко, и у любого исследователя голосовых интерфейсов со временем собирается собственная подборка «баек с тестов». Что может пойти не так и как избежать неловких ситуаций, Инга Благодатская рассказывает во второй части своего доклада.

А мы напоминаем, что до онлайн-конференции UX-Марафон #40 | UX-исследования остаются считанные дни. Как всегда, наши спикеры будут щедро делиться не только накопленным опытом, но и практическими его воплощениями — чек-листами, дорожными картами, шпаргалками и инструкциями. 

Успевайте присоединиться, учитесь вместе с экспертами-практиками!