Об эксперте: Илья Внуков, руководитель направления UX-исследований в цифровых каналах T2, работал как на стороне агентства, так и на стороне клиента.
Рынок исследований и его оценка
Рынок UX-исследований в России сегодня достаточно развитый. Для специалиста, который «варится» внутри этих процессов, нет сомнений в его поступательном развитии. Первая метрика, способная подтвердить обозначенный тезис, показывает тренд роста зарплат в UX-отрасли (а значит, и объемов инвестиций). Согласно проведенным в 2023 и 2024 годах анонимным опросам сотрудников компаний, выполняющих функционал исследователя, диапазон месячных выплат таким работникам составил от ₽80 тыс. до ₽350 тыс. Наиболее востребованы UX-исследователи в перспективных направлениях: финтех, электронная коммерция, ретейл.
Другой показатель развития сектора — постоянно открывающиеся агентства и компании, специализирующиеся на исследованиях и развитии пользовательского и клиентского опыта. Растет и арсенал инструментов для проведения исследований — возникают новые программные продукты и специализированные сервисы для опросов и UX-тестов. Рынок насыщается и образовательными продуктами: поставщики профильных курсов по UX-исследованиям конкурируют, поднимая тем самым общий уровень подготовки. Предложения в этой сфере начинают отличаться не только по качеству, но и по глубине погружения в тематику. Однако все эти факторы не уберегают компании от ошибок и, как следствие, потери ценных ресурсов.
Виды и методы UX-исследований
Самые популярные инструменты качественного исследования (в самом простом объяснении — отвечающие на вопросы «как?», «почему?», «зачем?») пользовательского опыта, которые с разной долей частотности используются повсеместно в российских компаниях, — глубинные интервью и юзабилити-тесты.
Из количественных инструментов, позволяющих ответить на вопросы «сколько?», «как часто?», обычно применяются опросы, которые на первый взгляд могут показаться самым доступным методом. В целом UX-исследования — процесс, помогающий бизнесу развеять туман неопределенности над пользователями и их взаимодействием с продуктом, чтобы в итоге сделать его удобнее.
Нужно отметить тренд, который связан с широким предложением от специализирующихся агентств, именно на качественные исследовательские проекты, без какой-то дополнительной количественной валидации. Интересна также и тенденция найма отдельно «качественных» и «количественных» исследователей, которую мы можем наблюдать в последнее время на рынке труда. Очевидно, что истина всегда в балансе, а мера использования разных методик зависит в первую очередь от поставленной цели. Но зачастую формулировка последней становится сложной коммуникационной задачей, которая создает условия для «рождения» ошибок. Посмотрим на целеполагание более внимательно.
Логика UX-исследования и самая дорогая ошибка
Начнем с того, какие этапы требуется пройти в процессе UX-исследования. Первый — это бриф, на этом этапе формулируются гипотезы и ожидаемый результат. Следующий шаг связан с построением, дизайном предстоящих действий. Здесь команда подбирает релевантный цели исследования метод и конкретные инструменты работы. Дальше исследователь применяет эти инструменты, то есть начинается «полевой» этап. А заключительная стадия требует анализа и последующей презентации результатов заказчику. В самых общих чертах логика работы выглядит так.
Неприятный момент состоит в том, что ошибки на всех этапах работы одинаково частотны. Если говорить о самой дорогой проблеме, это ситуация, когда сам заказчик не понимает, зачем ему это исследование. Отсутствие четкой формулировки цели и задач обесценивает дальнейшие действия. К сожалению, еще случаются ситуации целеполагания в стиле «крутые большие компании так делают, вот и нам пора». На этапе брифа критически важно ответить на вопрос «для чего?», чтобы понимать, как в итоге компания применит результаты исследования. Иначе вся эта работа будет проделана зря. Так формируется, пожалуй, самая дорогая ошибка — уже на первом этапе исследования.
Для борьбы с этой ошибкой нужно уделять внимание качеству проводимого брифинга (и дебрифинга при необходимости), в рамках которого запрос заказчика обрастает деталями и контекстом. Именно на этом этапе и происходит декомпозиция стратегической цели на бизнес-задачи, а также прорабатываются предпосылки для исследования — из них уже вытекают исследовательские вопросы и конкретные, правильно сформулированные гипотезы для дальнейшей проверки.
Этапы UX-исследования и «классические» ошибки
Если пройтись по лестнице исследовательских этапов, то и типовые ошибки встретятся на каждой ступени. На стадии дизайна это будет подбор нерелевантного метода — качественного или количественного, который не позволит ответить на самые важные вопросы. Уже не будет выполнена бизнес-задача, сколько бы итераций потом ни проводилось. Далее следует нерепрезентативный подбор респондентов — следствие неправильно определенной целевой аудитории. Эта ошибка может стать настоящей ловушкой для компаний, где необходимый для адекватного проведения UX-исследования ресурс не выделен, а задача поставлена в стиле «сделать нужно любой ценой». Если неверно сформулировать цель и не определить ЦА, на следующем этапе может случиться так, что загруженный сотрудник попросту пойдет к своим коллегам с анкетой или прототипом. Релевантные респонденты из них в большинстве случаев не получатся (если, конечно, целью не стоит тестирование внутреннего продукта). Следствие — серьезно искаженный результат.
На «полевом» этапе тоже возникает ряд погрешностей. Даже если на стадии дизайна все было сделано верно и в гайд попали правильные вопросы, в процессе проведения сессий с респондентами возможны различные формы подсказок, субъективных оценок, усиления эффектов присутствия со стороны исследователя. Все эти ошибки искажают результаты и в количественных, и в качественных исследованиях. Как выглядит на практике эта погрешность: наводящие на определенный ответ вопросы, «упаковка» нескольких вопросов в один, использование исключительно закрытых вопросов.
На этапе анализа тоже могут возникнуть различные искажения выводов. От логических нарушений, приводящих к ошибочной интерпретации полученных количественных или качественных данных, до элементарных арифметических ошибок в процессе статистической обработки результатов — случается все. Часто после сбора данных «в поле» процесс их интерпретации затягивается, что-то упускается из виду, а что-то устаревает — в итоге дальше в работу идут неточные данные. Итог один — искажения результатов и трата корпоративных ресурсов.
Помимо слишком маленькой выборки, частотной ошибкой можно считать отсутствие целой картины. Например, когда исследователь «привязывается» к конкретным ответам и действиям определенных респондентов, это мешает ему сделать общий вывод по итогам всего исследования. На этапе анализа каким-то ответам могут придать большую значимость, просто проигнорировав другие. Эта непозволительная исследовательская «привязанность» может иметь иное направление: найденная важная проблема игнорируется как присущая малому числу ответов. В итоге делается влияющий на бизнес, но ложный по сути вывод. Например, о том, что какой-то из вариантов продуктового интерфейса лучше себя показал. Но, естественно, когда продукт приходит к реальным пользователям, картина «вдруг» оказывается диаметрально противоположной ожиданиям.
Для исключения таких ситуаций стоит проводить валидацию и определять, будет найденный во время сессии кейс исключением или маркером частотной проблемы. В качестве инструмента контроля можно использовать таблицу с результатами (успешность выполнения заданий, субъективная оценка и т.д.) — это позволит посмотреть на общую картину по итогам совокупности сессий с респондентами и провести непредвзятый анализ результатов, — а также количественную проверку полученных на небольшой качественной выборке результатов.
Примеры ошибок
В качестве первого примера ошибки в анализе пользовательского опыта, который уже можно назвать хрестоматийным, приведем кейс провального продукта Google Glass. Очки дополненной реальности наделали в свое время много шума. Разработчики заложили широкий набор функций в девайс, но достичь того, чтобы покупатели им пользовались, не удалось. Причины теперь очевидны. В процессе Discovery и продуктовых исследований не были выявлены потребности и боли клиентов, которые могли «закрыть» очки дополненной реальности. Плюс слабыми можно считать оценку эстетической привлекательности товара и расчеты, связанные с оптимальной ценой (через ценовые исследования). Мало того что очки не завоевали мир в качестве стильного и удобного аксессуара, но и пользоваться теми же соцсетями в них оказалось неудобно. А корпоративный замах был чуть ли не на новую эру мобильных устройств.
Ошибаются на разном уровне, пожалуй, все. Но признавать ошибки и делать выводы могут немногие. Хотя это важный этап работы, он нужен для развития команды и роста продукта. Отличным примером честного анализа своей работы можно считать кейс коллег из Т-банка, которые решили создать удобный инструмент для операторов и их руководителей — экран метрик и рекомендаций. Однако в рамках UX-исследования не были соблюдены необходимые параметры выборки, была учтена только часть аудитории, что удлинило и усложнило работу по внедрению аналитического инструмента.
В Т2 также был случай искажений на этапе анализа UX-исследования, который выполняло для компании стороннее агентство. При разработке очередной версии нашего мобильного приложения мы проверяли в том числе удобство навигации. Дизайн одной из функций подрядчик забраковал — якобы по итогам юзабилити-тестов. Наша рабочая группа всегда вникает в суть проблемы: мы отсмотрели записи интервью и присутствовали на некоторых тестовых сессиях. В итоге мы заметили диссонанс между нашими выводами и заключением агентства: с проблемой столкнулся всего один человек, но со стороны агентства было рекомендовано заново проектировать интерфейс из-за впечатления этого респондента. В качественных исследованиях на количественные показатели смотрят в последнюю очередь, хотя и они могут использоваться для понимания уровня критичности и приоритетности проблемы. В данном случае проблема была скорее исключением, полученным в лабораторных условиях.
Сколько стоят UX-ошибки и как их избежать
В большинстве случаев недоработки исследователей приводят не только к потере ценного времени, но и к прямым убыткам. Сегодня мы говорим о практике применений UX-исследований как об обязательном процессе в рамках разработки продукта. Отсюда и уровень риска, который оценивается как потенциальный рыночный провал. Но потери могут быть не только финансовыми. С серьезными рисками сталкиваются команды, которые работают с персональными данными и финансами. Поэтому ценность качественной проработки пользовательского опыта давно оценили в таких отраслях, как финтех и электронная коммерция.
В информационном поле UX-исследования в основном ассоциируются с изучением интерфейсов. В действительности изучается поведение пользователей, которые могут воспринимать продукт вне любых цифровых каналов. Просто в сфере digital-решений именно интерфейс может поднять средний по уровню продукт до небес, а также и провалить самую прекрасную с инженерной точки зрения разработку. Универсального решения для контроля качества в нашей сфере не существует — отталкиваться нужно от продукта, структуры команды, ресурсов и т.д.
Для контроля качества UX-исследований необходимо постоянно отслеживать все этапы процесса вне зависимости от того, сделана работа in-house или сторонним подрядчиком. Яркие маркеры ошибок — различные несоответствия: от самой простой математики до логических перекосов в выводах. Другой формат минимизации рисков — эксперимент. Например, если компания предлагает цифровое решение, то почти всегда есть возможность провалидировать его через А/Б-тесты, «допилить» релиз и выйти к аудитории с наиболее эффективным вариантом продукта, показавшим себя лучше на А/Б. В худшем случае допущенная ошибка вскроется в релизе и негативно отразится на метриках и аналитике — это и будет самым явным сигналом к поиску и исправлению ошибок. Конечно, это крайние меры, до которых нужно стараться не доходить.
Какие навыки и компетенции нужны UX-исследователю
Говорить о квалификации специалистов по UX-исследованиям скорее могут представители образования и рекрутинга. Я расскажу о компетенциях, которые снизят вероятность ошибок для бизнеса. И здесь, помимо профессиональных знаний, ключевым будет набор коммуникативных навыков сотрудника.
Во-первых, главная задача UX-исследователя заключается в том, чтобы вместе с бизнесом определить предпосылки для исследования и сформулировать точные цели. Нужны системное мышление и развитые коммуникативные навыки. Научить этому сложно, важна психологическая предрасположенность, которая не зависит от образовательного бэкграунда.
Во-вторых, исследование пользовательского опыта — это многочисленные диалоги с респондентами. Здесь специалист должен уметь не терять внимание. Плюс необходимо создать весь дизайн исследования и щепетильно провести все нужные процедуры. Требование простое: уметь слушать людей и грамотно модерировать беседу, быть любопытным, всегда стараться доходить до сути. Есть ощущение, что такие навыки больше присущи выходцам с гуманитарных факультетов. Освоить их способен любой замотивированный человек, если у него есть база в виде критического мышления.
О хард-скилах в виде знания и умения использовать вышеназванные инструменты и методы можно не говорить, они обязательны, но в их освоении и применении перечисленные мягкие навыки будут хорошим подспорьем.
Где меньше ошибок: наем или аутсорс?
Компании, для которых UX-исследования стали привычным инструментом, как правило, держат специалистов in-house. Иногда это даже не одна команда, а несколько, параллельно участвующих в разработке и проведении внутренних продуктовых исследований и находящихся в коммуникации с продакт-менеджерами, дизайнерами, инженерами-разработчиками. Объемы постоянно возникающих задач, связанных с развитием цифровых продуктов или многочисленных интерфейсов, приводят руководство к тому, что оптимально нанять и развивать собственную команду. Иначе практически невозможно контролировать все информационные каналы, которые постоянно насыщаются новыми сценариями. Если крупная компания будет постоянно работать с агентством, то стоимость результата будет неоправданно высокой. Кроме того, выше риски «испорченного телефона» — хотя бы потому, что чувствительную информацию невозможно в полном объеме передавать вовне. Внутри компании нужен сотрудник, погруженный во все тонкости продуктовых процессов. Он знает не только продукт, но и потребителя. В случае с агентством требуется более долгое погружение в эти вопросы, а это поле для дополнительных ошибок.
У аутсорса есть своя сильная сторона. Агентства эффективны в работе с таким продуктом, который не требует частотных обновлений. Тогда у специалистов есть время на погружение в проблематику и внимательную разработку всех исследовательских паттернов. К агентству можно обращаться для каких-то кардинальных изменений, чтобы реализовать значимый большой проект, внедрить все разработки и какое-то время дать продукту «пожить». Мы говорим о потенциале внешней экспертизы и стороннего понимания возможностей развития заказчика, которое бывает сложным для анализа штатным персоналом.
Еще одним преимуществом работы с агентствами является их кросс-индустриальный опыт и объективность, которые помогают предлагать свежие и неочевидные решения найденных проблем. Также к помощи партнеров можно обращаться для решения тактических задач, чтобы снять операционную нагрузку с команды, которая сможет направить высвободившийся ресурс на стратегические долгосрочные цели.
О будущем сегодня: ИИ тоже ошибается
Придется разочаровать тех, кто верит в безусловный прогресс и считает, что от ошибок в UX-исследованиях мы избавимся вовсе. Возникает вопрос об участии искусственного интеллекта в исследовательской работе. Уже сегодня индустрия начинает пользоваться нейросетевыми технологиями. Посмотрим на некоторые варианты применения ИИ в моделировании пользовательского опыта и оценим главные «но» этого инструмента.
Технология научилась содействовать UX-исследователю: сам человек проводит ряд реальных интервью с респондентами, а затем с помощью обучаемого алгоритма в модели ИИ выявляет повторяющиеся паттерны в ответах. По сути, так определяются типовые черты, из которых с помощью нейросети формируется портрет целевого пользователя. Ему можно передать характерные поведенческие черты и получить таким образом «собеседника». Теперь его уже можно опрашивать по разным темам. Сегодня есть несколько сервисов, способных сформировать такого универсального цифрового респондента. Он может «пройти» юзабилити-тест, заполнить анкету и выдать итоговую аналитику. Я считаю, что использование синтетических респондентов остается вопросом профессионального подбора инструментов и пока потенциал этих систем можно оценить скептически.
«Но» возникают уже на этапе подготовки исследования, здесь потребуется особое внимание при взаимодействии с ИИ. Пример из моей практики, когда нейросеть анализировала интервью с живым респондентом, который испытывал сложности с настройкой программы для видеоконференций. На старте сессии мы с ним довольно много времени потратили на то, чтобы человек понял, как запустить трансляцию экрана. В итоге ИИ предоставил аналитические выводы по работе сервиса ВКС, а не по нужной мне теме.
Искусственный интеллект умеет работать с комплексом заданных показателей: находить, сравнивать, считать. Он генерирует вполне внятный текст, но и ошибки производит тоже. Например, нейропомощник периодически синтезирует источники и указывает на них как на вполне реальные и авторитетные, а в итоге оказывается, что их не существует. Сейчас ИИ в UX-исследованиях — хороший напарник и второй пилот. Полноценно отвечать за исследование на всех этапах ИИ на сегодняшний день не может — все же требуется участие опытного человека.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.