Об авторе: Анастасия Зоря, руководитель направления ИИ в Tiburon Research.
ChatGPT успел наделать много шума. OpenAI снизил порог вхождения в ИИ-технологии до уровня «умеешь пользоваться чатом — держи, развлекайся». Высокая скорость обработки материала любой сложности, иллюзия глубокого понимания изложенного, вариативность одновременно впечатлили и напугали пользователей. Последние мгновенно осознали, что ИИ может с легкостью выполнять работу, за которую многие из них получают деньги.
Один из самых больших страхов программиста — быть замененным программой. Сильный ИИ приблизил эту перспективу: некоторые большие языковые модели (LLM) уже пишут неплохой код. Чтобы понять, что исследователи не сильно отличаются от программистов, воспользуемся аналогией.
Вот простая задачка, которую может решить даже младший школьник:
«Отсортируйте числа в порядке убывания: 2, 8, 1, 4, 6, 3, 5, 9, 7».
Чтобы с этой задачей справилась машина, нужен специально обученный человек — программист, который а) прочитает задачу, б) придумает алгоритм, в) напишет код на языке машины. Например, на Fortran:
Теперь возьмем простую исследовательскую задачку:
«Бренд ХХХ уходит из России. Бизнес локализуется и должен сменить название. Важно обеспечить преемственность, не потерять текущих пользователей марки. Задача — выбрать лучший из пяти вариантов нового названия».
Клиент не может придумать алгоритм решения задачи, но может на словах объяснить, что ему нужно. Здесь потребуется еще один специально обученный человек — исследователь, который а) прочитает задачу клиента, б) придумает алгоритм решения с использованием исследовательских методов и инструментов, в) выдаст клиенту информацию для принятия бизнес-решения в виде отчета.
Исследователь — это своеобразный интерфейс для доступа клиента к исследовательскому инструментарию. Он принимает задачу от клиента в виде текста и выдает ответ, опять же текстом. Получается, именно текст, язык — самый мощный из инструментов исследователя. С помощью языка исследователи делают все.
Работа в ChatGPT похожа на программирование на простом человеческом языке. Вместо кода мы используем промпты — набор произвольных инструкций, как должен вести себя и что должен делать ИИ. Промпт можно задать не любой длины, а только в рамках ограничений данной LLM-модели. В своих экспериментах (которые опишем ниже) мы использовали gpt-3.5-turbo и более «умную» версию gpt-4, а также бесплатные модели open-source (gpt4all-j 1.3, BLOOMChat-176B, MPT-7B). Перечисленные LLM-модели хорошо понимают сложные тексты и дают (кажущиеся осмысленными) ответы.
В чем же тогда заключается принципиальная незаменимость человека-исследователя? Попробуем вытащить из стандартного исследовательского процесса все «человеческое» и рассмотреть поближе, что получается.
Этап 1. Постановка исследовательской задачи
Это один из самых болезненных этапов, влияющий на успех исследования. Чтобы «докрутить» исходный бриф до четкой постановки результатов, которые на самом деле нужно получить клиенту, исследователю нередко требуется несколько рабочих дней на долгие переписки в почте.
Вот пример нечеткого запроса к исследовательскому агентству.
Категория — натуральные продукты питания для животных. Производитель органических кормов и витаминных добавок для кошек и собак. ЦА — владельцы кошек и собак возрастом от 18 до 65 лет. Внутри делятся на:
-
тех, кто уже использует натуральные и органические продукты для питания своих питомцев,
-
тех, кто использует стандартный корм, но интересуется более здоровыми альтернативами и готов рассмотреть переход на натуральные продукты,
-
тех, кто не задумывался о замене корма, но открыт для информации о пользе натурального питания для своих питомцев.
Задача — протестировать гипотезы и инсайты для будущего позиционирования.
Непонятны здесь, в частности, слова «протестировать гипотезы и инсайты» в одном предложении. Тестирование — это про количественные методы, опросы; но инсайты мы обычно получаем на качественном этапе, а клиент о нем совсем ничего не упоминал. Чтобы прояснить ситуацию, нашему менеджеру понадобилось три итерации переписки.
Что нужно, чтобы это за нас сделал ИИ? Написать, к примеру, такой промпт.
Проанализируй бриф клиента на исследование. Определи, можно ли из него понять бизнес-задачи, стоящие перед клиентом. Бизнес-задача отвечает на вопросы: зачем клиент проводит это исследование, какие решения должны быть приняты по результатам исследования? Используй следующий классификатор бизнес-задач (business objective) и связанных с ними ключевых результатов исследования (research results): {наш классификатор}.
Бриф клиента: {текст запроса}
Итак, что мы сделали в промпте:
-
Четко поставили нейросети задачу.
-
Предоставили методологическую рамку, по которой надо работать.
-
Дали запрос клиента as-is.
Что же нам ответила модель?
Судя по представленному брифу, бизнес-задача клиента пока не определена ясно. Он говорит о том, что хочет «протестировать гипотезы и инсайты для будущего позиционирования», но не указывает, какие конкретно гипотезы хочет проверить и что именно ожидает увидеть в итоговом результате исследования. Тем не менее можно предположить, что задачи клиента могут быть связаны с двумя типами бизнес-задач из предложенного классификатора:
#1 Business objective: придумать что-то новое, найти точки роста или оптимизации.
Research results: потребности людей, особенности поведения людей, продуктовые идеи.
Этот тип задач может быть связан с желанием клиента найти новые точки роста для своего бренда, определить новые идеи продуктов или улучшить текущее позиционирование.
#3 Business objective: решить «делать или нет» что-либо, «продолжать или нет», «с каким приоритетом делать».
Research results: оценка «хорошо»/«плохо», ранжированный список, идеи улучшений.
Возможно, клиент хочет определить, стоит ли ему в дальнейшем делать акцент на натуральных и органических продуктах для питания животных, как это воспринимается его целевой аудиторией и может повлиять на его бизнес.
Однако для более точного определения бизнес-задач и исследовательских вопросов, которые будут использоваться в опросе, нужно больше информации от клиента. Например, какие именно гипотезы он хочет проверить, какие аспекты «будущего позиционирования» его интересуют и какие именно результаты клиент ожидает получить в итоге исследования.
Как и наш менеджер, нейросеть поняла, какой информации не хватает в запросе. Более четко, чем менеджер, она сформулировала возможные ситуации и ожидаемые результаты. Представьте, как изменились бы клиентский опыт и скорость, если бы вместо чтения трех писем от менеджера просто надо было бы выбрать — вам в результатах надо получить что-то похожее на № 1 или на № 3?
Этап 2. Разработка инструментария
Предположим, что клиент сказал «хочу получить № 1 — потребности людей, особенности их поведения, отношение к моей идее». Мы можем автоматизировать решение, какую методологию использовать. Замечательно — даем модели следующий промпт:
Клиент сообщил, что его задача — это вариант № 3. Напиши список вопросов для гайда качественного интервью, чтобы решить задачу клиента.
Что ответила модель?
Основываясь на бизнес-задаче № 1 («придумать что-то новое, найти точки роста или оптимизации»), можно предложить следующий список вопросов для гайда качественного интервью:
1. Как вы кормите своего питомца, что вам важно при выборе корма?
2. Используете ли вы натуральные или органические продукты для кормления своего питомца? Если да, почему вы сделали такой выбор? Если нет — почему?
3. Что вам нравится или не нравится в натуральных или органических продуктах для питания вашего питомца?
4. Что могло бы убедить вас перейти на натуральные или органические продукты, если вы их еще не используете?
5. Какое влияние на ваш выбор оказывает информация о составе и происхождении корма? Как вы проверяете достоверность этой информации?
6. Замечали ли вы какие-либо изменения в здоровье или поведении своего питомца после перехода на натуральные или органические продукты?
7. Какие добавки или компоненты корма вы считаете наиболее важными для здоровья вашего питомца?
8. Что вы бы хотели видеть в идеальном корме для вашего питомца?
9. С какими трудностями вы столкнулись при переходе на натуральные или органические продукты для питания своего питомца?
10. Если бы вы могли предложить улучшение для натуральных или органических продуктов для питания питомцев, что бы это было?
Эти вопросы помогут лучше понять потребности целевой аудитории клиента, особенности их поведения и сформировать продуктовые идеи для оптимизации текущего предложения или создания новых продуктов.
Это хороший результат. Но какое качественное исследование без отбора? Вспомним описание клиента: «Владельцы кошек и собак возрастом от 18 до 65 лет. Внутри делятся на тех, кто уже использует натуральные и органические продукты для питания своих питомцев; тех, кто использует стандартный корм, но интересуется более здоровыми альтернативами и готов рассмотреть переход на натуральные продукты; тех, кто не задумывался о замене корма, но открыт для информации о пользе натурального питания для своих питомцев».
Подход к отбору аудитории может быть разным. Классически это делается через рекрутинговую анкету. Даем промпт модели вместе с примерами подобных анкет из нашего опыта:
Следуя образцу ниже, составь список вопросов для скринера. Убедись, что в вопросах проверяются все критерии из описания ЦА, но не добавляй лишних вопросов. Старайся избегать формулировок, где можно ответить только «да» или «нет». Образец скринера: {пример для другой ЦА}
Модель справляется с этим быстро и просто.
Ваш скринер может выглядеть следующим образом:
S1. Какой у вас возраст? Пожалуйста, введите число.
Если S1 < 18 или S1 > 65 — завершить интервью.
S2. Являетесь ли вы владельцем кошки, собаки или обоих сразу?
Один ответ:
- Являюсь владельцем кошки.
- Являюсь владельцем собаки.
- Являюсь владельцем и кошки, и собаки.
- Не являюсь владельцем ни кошки, ни собаки.
Если S2=4 — завершить интервью.
S3. Какой вид питания вы сейчас используете для вашего питомца?
Один ответ:
- Стандартный корм из магазина.
- Натуральные и органические продукты.
- И стандартный корм, и натуральные продукты.
- Другой вид питания.
- Затрудняюсь ответить.
S4. Как вы относитесь к возможности перехода на натуральные продукты для питания вашего питомца?
Один ответ:
- Я уже использую натуральные продукты для питания своего питомца.
- Я не использую натуральные продукты, но готов рассмотреть такую возможность.
- Я не задумывался о замене корма, но открыт для информации о пользе натурального питания для своего питомца.
- Я не рассматриваю переход на натуральные продукты.
- Затрудняюсь ответить.
Если S4=4 — завершить интервью.
Она не только поставила нужные отборочные условия и фильтры, но и разбила ЦА на сегменты в соответствии с описанием клиента. Можно сразу попросить ее предоставить ответ в формате xml-скрипта, который мы используем для подготовки электронной анкеты. Предоставив модели примеры из прошлых проектов, получаем следующее.
Наметанный глаз увидит, что она даже расставила «смысловые ударения» в формулировках тегами ([u]…[/u]), то есть проявила себя заботливее среднего обработчика. В целом наш инструментарий готов.
Этап 3. Сбор данных
ChatGPT заточен под общение с людьми и понимает их инструкции, по которым генерирует ответы. Но модель «из коробки» не так-то просто заставить делать обратное — хотеть чего-то от человека. Нам пришлось основательно «поработать напильником», чтобы модель шла по гайду и не вызывала у респондента сомнений в своей осознанности.
Как на такое общение реагируют респонденты? Возможно ли в этом формате получить настоящий качественный ответ, как на глубинном интервью? Мы экспериментировали с разными аудиториями и задачами. Теперь попробуем пообщаться с труднодоступной молодежью на тему спортивного стиля одежды.
На открытый вопрос «В каких ситуациях вы носите одежду спортивного стиля?» — в стандартной анкете мы получаем в среднем 22 символа в строке. Наш автомодератор вместо одного вопроса задает три: респондент видит исходную формулировку плюс два «прощупывания» (пробинг), содержание которых зависит от ответов респондента. Наши эксперименты показывают, что качество ответа с пробингом возрастает нелинейно: респонденты пишут не в три, а в семь (!) раз больше текста — 151 символ в среднем.
Это достигается за счет более человеческого отношения к респондентам: автомодератор приветлив, эмпатичен, живет в привычном всем чате. До качественной глубины данных нам, конечно, еще далеко.
Этап 4. Обработка данных
Читать переписку респондента с автомодератором сложновато. Благо LLM легко справляется с задачей создания краткого изложения интервью, чтобы получилось что-то подобное:
«Я ношу одежду спортивного стиля в повседневных ситуациях, таких как прогулки с ребенком, походы в парк и дела на даче. В таких случаях я предпочитаю носить короткие и свободные шорты, а также футболки из хлопка. Однако не надеваю спортивную одежду на работу или на мероприятия и праздники».
Искать инсайты в таком формате намного проще. Но что делать, если у нас количественная задача? 50 полных интервью соответствуют примерно 50 страницам неструктурированного текста. Море информации и работы для опытного кодировщика.
С помощью LLM мы обработаем это в десятки раз быстрее. Одно интервью на десять вопросов — это идеальный «чанк» на 1–1,5 тыс. слов. Оно успешно влезает в модель, которая выделяет в содержимом отдельные смысловые единицы.
Последний пункт «поездки на машине» — это то, что респондент неочевидным образом упомянул нам в другом куске транскрипта.
Таким образом, нехитрым алгоритмом кодировки мы можем превращать качественные данные в количественные. Это открывает нам дорогу в новый тип исследований, совмещающий преимущества всех методов.
Этап 5. Анализ
Наша фантазия плюс возможности LLM позволяют подумать о системе мечты для генерации инсайтов и — сразу же! — их верификации. Представьте, что у вас есть интерфейс, работающий на человеческом языке. Вы говорите ему:
«Найди все ответы на вопрос: «Как люди представляют себе идеальную страну?» Сгруппируй их по категориям. Проиллюстрируй каждый ответ цитатами. Ответ дай на английском».
Получаем:
Пока что это макет, нарисованный нашими дизайнерами. Но данные, которые в нем представлены, реальны и получены путем пошагового взаимодействия с API GPT-3.5:
- мы получили список ответов на вопрос в первом транскрипте, записали цитаты;
- в следующем транскрипте нашли, какие ответы из списка в нем встречаются, и записали цитаты;
- нашли ответы, которые не упоминались ранее, записали вместе с цитатами;
- и так по каждому следующему интервью.
Это самый базовый вариант качественно-количественного анализа.
Ничто не мешает нам мыслить на уровень выше. Теоретически можно свести роль исследователя в этом процессе до постановщика задачи: «Исходя из {research data}, дай рекомендации, что делать клиенту, руководствуясь следующими {action standards}». Если эти самые action standards будут на стороне системы, можно убрать отсюда фигуру «исследователь» и дать клиенту початиться с данными в голом виде. Правда, к моменту создания такой системы мы не можем быть уверены, что со стороны бизнеса этим будет заниматься все еще человек.