Эксперименты в бизнесе: как тестировать новые решения с минимумом рисков

Эксперименты в бизнесе представляют собой систематические исследования или практические проверки гипотез. Чаще всего они проводятся с целью получения знаний о продукте, аудитории, для оптимизации бизнес-процессов или производства, для разработки инноваций и вывода на рынок новых решений. Они могут охватывать продукты, маркетинг или операции.

В статье мы поговорим об экспериментах, связанных с запуском новых продуктов/сервисов или тестированием изменений в них. Чаще всего их проводят с помощью таких видов тестов, как:

• A/B — разделение объекта эксперимента на две группы, где A — это стандартный вариант, а B — измененный;
• A/A — разделение объекта на две одинаковые группы для проверки стабильности состояния;
• A/B/C — использование трех вариантов для сравнения эффективности различных изменений;
• свитчбэк — метод тестирования изменений в продукте, при котором нововведения включаются только для ограниченной группы пользователей. Это позволяет оценить влияние изменений на их поведение и избежать нежелательных сетевых эффектов, когда изменения в продукте влияют не только на отдельного пользователя, но и на взаимодействие между пользователями в системе.

Зачем проводить эксперименты

В целом такой подход выступает драйвером поступательных изменений и помогает принимать стратегические решения. Рассмотрим несколько ситуаций, когда проведение эксперимента будет уместным:

1. Нужно избежать масштабных рисков при запуске новой функции продукта. Любые изменения могут вызвать как положительные, так и отрицательные последствия. Например, если вы работаете с интернет-магазином и планируете запустить новую форму заказа или оплаты для клиентов. Данные показывают, что нередко люди отказываются от покупки именно в момент чекаута (попав на страницу оформления заказа или его оплаты). Это может происходить в том числе из-за слишком сложной формы. Поэтому потребуется тестирование обновленного процесса чекаута, так как любое изменение в этом разделе может сильно повлиять на вашу прибыль.
2. Нужно точно отследить, как новое изменение растит бизнес-показатели. Такой запрос часто бывает в корпорациях или при работе со сложными алгоритмическими продуктами с использованием моделей машинного обучения (ML) (подраздел искусственного интеллекта, где машина обучается распознавать определенные шаблоны или вести себя определенным образом на основе представленных данных). Например, с помощью ML мы сделали новый алгоритм назначения курьера на доставку еды. И чтобы проверить, что в реальности он сработает лучше предыдущего, проводим эксперимент.
3. Нужно проверить гипотезу, которая покажет, в каком направлении двигаться или решить спорный вопрос. В случае неопределенности внутри компании эксперименты могут служить инструментом для сбора объективных данных и принятия обоснованных решений. Это научный способ избегать споров и одного экспертного мнения. Как пример: если вы запускаете воронки привлечения клиентов в диджитал, то тестирование нескольких гипотез покажет, какой онбординг (знакомство пользователя с продуктом) лучше конвертирует пользователя в покупку.
4. Нужно улучшить пользовательский опыт. Эксперименты могут быть полезными для тестирования и улучшения клиентского опыта на сайтах, в мобильных приложениях и других платформах. Например, маркетплейсы экспериментируют с уровнем вовлеченности аудитории с помощью персонализированных рекомендаций товаров. Процесс строится на основе предпочтений пользователей, их истории просмотров и активности на платформе.
5. У компании много ресурсов. Это большой штат и финансовая возможность. Например, такие корпорации, как Booking или Aliexpress параллельно могут проводить десятки, если не сотни экспериментов, потому что у них есть такая возможность. Кроме того, развитие инновационности помогает подобным компаниям оставаться гибкими.

Экономика инноваций Что такое культура ошибок и зачем она нужна компаниям

Когда не стоит экспериментировать

Хотя эксперименты — отличный инструмент для бизнеса, есть ситуации, когда их проведение может быть нецелесообразным или даже невозможным. Опишу такие случаи:

1. Бизнес работает с очень небольшим объемом данных. В такой ситуации результаты могут быть статистически не значимыми, что делает их малоинформативными. Если компания работает в B2B сегменте или пока это стартап со 100 заказами в месяц, то о количественных экспериментах думать рано. В таком случае уместнее проводить качественные исследования: опросы, анализ отзывов, интервью и т.д.
2. У компании ограниченный бюджет. Эксперимент — это всегда дорого и трудозатратно. Для его проведения должна быть задействована команда из нескольких человек, чтобы сформулировать правильную гипотезу, метрики для отслеживания результата, критерии принятия решения. Также кто-то должен проверять правильность данных, которые вы получите. Все это требует времени, затрат и экспертизы. Но не факт, что с помощью этих действий удастся прийти к желаемому результату. Поэтому если финансовые и человеческие ресурсы ограничены, то уместнее подумать над принятием решений на основе предыдущего опыта или лучших практик на рынке.
3. Невозможно сформулировать правильную гипотезу. При проведении эксперимента это самый сложный процесс: понять, что именно вы хотите сделать, как отследить результат и как он повлияет на дальнейшие действия. Гипотеза требует продумывания работы на несколько шагов вперед, логики и интерпретации данных в действия.
4. Компания не может найти нужные метрики. В таком случае невозможно корректно измерить и осмыслить результат. Если метрика выбрана неверно, то эффекта от нее вы можете не увидеть и эксперимент будет не показательным.
5. Нужно быстро принять решение. Чтобы получить значимые результаты, процесс может занять много времени. Поэтому в ситуациях, где требуется быстрое реагирование, проведение эксперимента может быть нецелесообразным.

Экономика образования Что должен уметь специалист по тестированию и как им стать

Что нужно знать перед запуском эксперимента, чтобы он получился

В первую очередь надо понимать, что эксперименты сопряжены с рисками. Очень часто они проводятся, чтобы узнать, что изменения не сломают основные показатели бизнеса. Соответственно, нужно быть готовым к тому, что показатели могут упасть, и иметь заранее четкий план действий, если они снизятся на критический процент для вашего бизнеса и отрасли.

Также важны внутренние условия. Сюда относятся создание инновационной среды, поддержка руководителей, бюджет, команда, гибкость в принятии решений, доступ к данным, в том числе мониторинг поведения пользователей. Особая роль в команде отводится data-oriented специалистам: Data Analyst, Data Scientist, Data Engineer и другим. Это эксперты, ориентированные на работу с информацией для ее анализа и использования, чтобы принять бизнес-решения.

Если все вышеперечисленное есть, то следующий шаг — изучить принципы проведения экспериментов.

1. Правильно сформулировать и проверить гипотезу

Гипотеза должна идти от проблемы клиентов/пользователей или предполагать, откуда возникает такая проблема. Jна должна быть основана на знаниях, а не на фантазиях. Также важно понимать, на каких метриках она может сказаться.

Пример хорошей гипотезы: «Если мы повлияем на причину, то метрика Х изменится в такую-то сторону за счет того, что клиент будет делать что-то иначе».

Пример плохой гипотезы: «Если мы покрасим кнопку бронирования в зеленый цвет, то конверсия в создание бронирования увеличится».

2. Решить, какие метрики будут использованы, чтобы судить о результате

Универсальных метрик нет, их выбор зависит от отрасли и стадии развития бизнеса. Следует идти от крупных, вроде среднего чека или продолжительности сессии до воронки конверсии (например, конверсия в установку приложения, регистрацию или покупку). Нужно точно понимать: то, что вы делаете, напрямую влияет на показатели, за которыми вы следите, в том числе на самую главную метрику. В продуктовых бизнесах — это North Star Metric (NSM или метрика Полярной звезды) — единственный важный показатель, который используется для оценки общего успеха компании и достижения ее стратегических целей. NSM часто связана с тем, как пользователи взаимодействуют с продуктом и насколько он удовлетворяет их потребности. Это может быть, например, количество активных пользователей, уровень удовлетворенности клиентов, общий объем продаж или другой ключевой показатель.

3. Сделать дизайн эксперимента (вид, выборка, длительность, геолокация, платформы)

Состоит из ключевых этапов:

1. Выбрать вид эксперимента: A/B, A/A, A/B/C-тестирование или свитчбэк.
2. Определить размер выборки для статистической значимости. Также может быть учтена характеристика целевой аудитории (пол, возраст, род деятельности и другие признаки).
3. Определить длительность, локации и платформы. Включает в себя выбор тайминга для сбора достаточного объема данных (здесь нужно учесть сезонность и остальные временные факторы, которые могут повлиять на результаты). Выбор геолокации (регион, город, страна) и платформы: определить, где будет проводиться эксперимент (веб, iOS, Android) и адаптировать его к особенностям выбранной платформы.

4. Протестировать, все ли работает так, как вы задумали

Если все работает, то запускать процесс, выбрав ответственного за мониторинг (как правило, это аналитик данных).

Индустрия 4.0 Гипотеза: может ли у искусственного интеллекта появиться сознание

Личный опыт

Расскажу на примере компании, которая занимается небольшими грузоперевозками. В логистических продуктах, чтобы увеличить долю совершившихся заказов, важна полнота информации о доставке,ричем многое завязано на прямой коммуникации между заказчиком и исполнителем. Мы заметили, что одна из причин отмен заказов происходит из-за недозвона с той или другой стороны. Я решила протестировать гипотезу: если мы дадим возможность отправителю давать телефон получателя посылки сразу при создании заказа, то это уменьшит долю отмен, ведь у исполнителя появится возможность позвонить по еще одному номеру для уточнения времени доставки и других деталей. Для этого мы провели А/В тест, и оказалось, что такое изменение действительно имеет положительный эффект. Одновременно оно помогло нашим пользователям и улучшило метрики бизнеса.

По окончании экспериментов всегда нужно понимать, что делать после подсчета результатов. В нашем случае мы внедрили изменение на 100% пользователей и оно стало частью продукта.

Если вы планируете налаживать в своей компании культуру экспериментов, то важно привлекать к этому команду, коллаборировать вокруг того, как с минимальными рисками и ресурсами проверять верные гипотезы. Использовать научный подход: для этого каждый участник команды должен понимать, что такое хорошая гипотеза, какие бывают типы экспериментов и на какие метрики нужно смотреть. Это все помогает понять, что результатам эксперимента можно доверять и внедрять изменения уже в продукт.