Как с помощью ИИ распознавать человеческие эмоции и кому это нужно

Коммуникации лежат в основе многих бизнес-процессов: все больше компаний стремятся улучшить культуру общения, повысить вовлеченность и производительность. Поэтому рынок распознавания эмоций с использованием ИИ растет: в 2019 году он оценивался в $19 млрд, а к 2026 году ожидается рост до $37,1 млрд.

Как научить ИИ понимать эмоции

Многие бизнес-процессы зависят от коммуникаций между людьми, а эмоциональный контекст меняет интерпретацию фактов и аргументов. Поэтому для автоматизации и оптимизации задач, связанных с общением, нужен особый искусственный интеллект — эмоциональный (Emotion AI). Он умеет распознавать позитивные и негативные реакции человека, анализировать мимику и язык тела, тональность голоса и даже выбор слов.

Emotion AI работает на основе технологий машинного обучения (Machine Learning или ML), нейронных сетей и обработки естественного языка (Natural Language Processing или NLP) для анализа и интерпретации человеческих эмоций. Обучение требует значительных объемов информации и сложных алгоритмов. Для этого используются большие наборы данных, которые включают изображения лиц, мимику, аудиозаписи людей в различных эмоциональных состояниях и текстовые данные из чатов и соцсетей. Чем больше и разнообразнее массивы информации, тем точнее и надежнее модель.

Далее к процессу подключают глубокие нейронные сети:

• Сверточная нейронная сеть (Convolutional Neural Networks, CNN) анализирует изображения и видео: она распознает паттерны в выражениях лиц, которые соответствуют определенным эмоциям (например, улыбку и нахмуривание).
• Рекуррентная нейронная сеть (Recurrent Neural Networks, RNN) и ее разновидности: применяются для анализа временных последовательностей данных (например, аудиозаписей), чтобы выявить изменения в тоне и тембре голоса.
• Языковые модели, например, GPT, помогают определить эмоциональную окраску текста, основываясь на контексте и последовательности слов.

Для повышения точности системы распознавания эмоций часто используется мультимодальная интеграция, когда данные из разных источников, например, видео, аудио и текста, комбинируются.

После обучения Emotion AI может классифицировать новые данные в режиме реального времени, определяя, какие эмоции испытывает человек. Например, при анализе видео модель может одновременно учитывать выражение лица, тон голоса и текст, чтобы сделать более точный вывод. А технологии обучения с подкреплением (Reinforcement Learning) используются для улучшения работы ИИ по итогам обратной связи от пользователей или внешних систем.

Кому и когда это нужно

Системы распознавания эмоций с помощью ИИ помогают понимать, как люди себя чувствуют. Это улучшает коммуникации и обслуживание, делает цифровые продукты более адаптивными, а взаимодействие с ними — эффективнее.

Корпоративный сектор

Представьте, что менеджер во время видеоконференции отчитывается о задачах за предыдущий месяц, оперирует цифрами и фактами, но испытывает волнение, потому что на звонке присутствует весь топ-менеджмент. Эмоциональный фон спикера считывает ИИ, оперативно предлагает присутствующим на встрече фразы, подсвеченные на экране, смягчая уровень стресса менеджера и улучшая презентацию.

Такое ИИ-решение недавно появилось на российском рынке — наша компания разработала онлайн-ассистент коммуникаций на базе ИИ (ACM). Он состоит из двух продуктов: AC Meet считывает коммуникацию во время видеозвонков и в режиме реального времени выдает подсказки, подсвечивает уровни эмоций и фазы стресса; AC HRM собирает аналитику на основе всех видеовстреч и помогает HR-отделу понять психологическое состояние команды.

ИИ может анализировать эмоциональные реакции сотрудников на решения руководства, выявлять потенциальные конфликты на ранней стадии и предотвратить их эскалацию. Технологии помогают предотвратить и выгорание сотрудников, адаптируя процессы в зависимости от состояния команды: предлагают изменения в графике, предоставляют дополнительные ресурсы для поддержки или рекомендуют перерывы для восстановления.

Распознавание эмоций эффективно и в рекрутинге. Например, его активно использует международный производитель товаров повседневного спроса Unilever. С помощью ИИ он анализирует видеоинтервью кандидатов: оценивает выражение лица, тон голоса и язык тела, чтобы определить, насколько человек подходит для конкретной роли.

Сфера продаж

Во время телефонного или видеоразговора ИИ анализирует тональность и содержание речи, а также мимику, если камера включена. Такая опция есть у Zoom IQ for Sales. Система может подсказывать менеджеру подходящий скрипт для смены стратегии или специальные предложения, которые могут повысить лояльность клиента, а также выявлять в процессе разговора то, что негативное влияет на показатели продаж.

Технологии смогут позволить компаниям лучше понять, как клиенты реагируют на продукты или услуги, и адаптировать предложения в реальном времени. В интернет-магазине, где общение происходит через текстовый чат, ИИ проанализирует слова и тон сообщений клиента. Если он покажется недовольным, ему предложат скидку или помощь менеджера. Маркетплейсы уже могут внедрять такие технологии для улучшения обслуживания и увеличения продаж.

Службы поддержки

ИИ помогает операторам оценивать реакции клиентов и их настроение, что особенно важно в стрессовых ситуациях — это снижает количество конфликтов. Все чаще работу контакт-центров полностью автоматизируют: Emotion AI не просто озвучивает ответы, а использует определенную интонацию и делает акценты в речи, что свойственно человеку. Он также понимает, когда стоит перенаправить клиента сотруднику, чтобы решить сложную ситуацию и снизить уровень негатива. Такие системы уже внедрены в крупных российских банках и коммуникационных компаниях, например, в «МТС».

Медицина

В здравоохранении ИИ может использоваться для оценки эмоционального состояния пациентов, мониторинга психического здоровья или поддержки терапии. Например, системы могут анализировать мимику и речь для выявления признаков депрессии или тревожных расстройств.

Еще одно применение — помощь в уходе за пациентами с аутизмом: Emotion AI помогает им лучше понимать эмоции окружающих, улучшая социальные навыки.

Образование

Распознавание эмоций позволяет адаптировать методики преподавания под эмоциональное состояние учеников. Повысило потребность в таких решениях стремительное развитие онлайн-школ и дистанционного образования. ИИ считывает реакции на различные задания и темы, что позволяет преподавателям лучше понимать, какие подходы работают, а какие нет. Например, если система фиксирует, что студенты испытывают скуку или не понимают материал, профессор может предложить более простую или интерактивную практику.

В России подобное решение для школьников представила одна из структур «Ростеха». Разработка включает оснащенный камерами монитор со специальным ПО: она считывает психофизические данные и эмоциональное состояние ученика в начале урока и оценивает изменения в процессе. На основе данных система формирует рекомендации для учителя, что влияет на уровень освоения материала.

Маркетинг

Emotion AI применяют для анализа реакции на рекламу, контент или продукт, что позволяет брендам лучше понимать свою аудиторию и адаптировать предложения.

Например, перед запуском рекламных роликов Coca-Cola тестирует их на фокус-группах: искусственный интеллект распознает эмоции при просмотре в реальном времени. ИИ-системы оценивают микровыражения лиц зрителей, что помогает компании понять, какие аспекты рекламы вызывают радость, удивление или другие эмоции. Видеохостинг YouTube использует ИИ-технологии распознавания эмоций для настройки рекомендаций и оптимизации размещения рекламы. Анализировать реакцию на видео умеют и российские компании, например, Neurobotics.

Слабые стороны эмоционального ИИ

Существует ряд ограничений при использовании ИИ-технологий для распознавания эмоций.

Законодательное ограничение

Необходимо согласие пользователей при работе с Emotion AI. В случае записи или фиксации конфиденциальных разговоров без разрешения можно получить иск.

Обычно опытные разработчики таких продуктов учитывают особенности законодательства, чтобы не подвергать риску клиентов. Например, ACM для измерения стресса сотрудников собирает обычные персональные данные, согласие для обработки которых подписывается при трудоустройстве. Право работодателя анализировать эмоции закрепляется внутренними нормативными актами как часть контроля за трудовой деятельностью — поэтому нужно ознакомить сотрудников с АСМ под роспись.

Риски в недостоверности и неточности прогнозирования

На данный момент ИИ не способен с 100% точностью понимать человеческое настроение. Для улучшения качества необходима систематическая обработка большого объема данных и паттернов, синтезация тональности голоса, анализ контекста разговоров и невербальных коммуникаций. Пока, увы, возможны неверные подсказки из-за неверно распознанных эмоций.

Ответственность за эффективность работы ИИ-продукта

Кто ее несет: разработчики, пользователи или руководитель проекта? Вопрос остается открытым. Если продукт внедрял подрядчик, то заказчик не всегда готов делиться всей информации о внутреннем опыте использования. Это усложняет работу над доработкой. Также есть риски неточности алгоритмов, если внедрение происходило, например, в непривычных условиях.

Перспективы развития технологии

Ожидается улучшение точности распознавания эмоций благодаря развитию ML-алгоритмов и увеличению объемов данных для обучения. Это позволит создать более надежные и эффективные инструменты для анализа эмоций, которые смогут учитывать не только явные, но и скрытые эмоциональные состояния.

Emotion AI, вероятно, найдет применение в новых областях. Например, в спортивной аналитике технологии распознавания эмоций могут использоваться для оценки состояния спортсменов во время соревнований, что может помочь тренерам оптимизировать стратегии подготовки и управления командой.

В будущем возможно создание искусственного интеллекта, способного не только распознавать, но и синтезировать эмоциональные ответы. Это приведет к созданию более естественных и интуитивных интерфейсов. Такие системы можно использовать в виртуальных помощниках, чтобы эмоционально поддерживать пользователей, выводя «человечность» ИИ на новый уровень.

Но успех Emotion AI зависит не только от технологических достижений. Большое значение имеет и то, как мы сможем интегрировать новые возможности в повседневную жизнь, сохраняя баланс между удобством и этикой.