Об авторе: Антон Ивахненко, заместитель генерального директора по технологиям и глава центра гибридного интеллекта группы «Рунити».
Сегодня ИИ-агенты перестали быть исключительно экспериментальной технологией. Пользователи подключают их к рабочим сервисам, поручают поиск информации, обработку документов и выполнение задач, которые раньше требовали постоянного участия человека. Причем интерес к таким решениям уже не ограничивается технически подготовленной аудиторией.
Для бизнеса привлекательность агентов понятна: они позволяют быстрее выполнять рутинные операции, не расширяя штат и не создавая отдельный инструмент под каждую задачу. Особенно активно новые сценарии пробуют небольшие компании, которым важно экономить время сотрудников. Однако готовность использовать технологию пока опережает понимание связанных с ней рисков.
Иногда для подключения агента достаточно подтвердить несколько разрешений. Так система получает доступ к почте, мессенджерам, документам или инструментам управления инфраструктурой. Но пользователю не всегда очевидно, какие действия агент сможет выполнить самостоятельно и кто будет отвечать за их последствия.
Почему согласие на доступ не означает согласия на любое действие
Проблема ИИ-агентов ограничивается не только в возможных ошибках модели. Даже если система правильно поняла задачу, она может выбрать способ выполнения, который пользователь не предполагал.
Представим, что сотрудник просит агента разобрать входящую почту и подготовить ответы клиентам. Агент получает доступ к переписке, анализирует сообщения и составляет черновики. Пока он ограничивается подготовкой ответов, сотрудник может проверить результат. Но если система самостоятельно отправит письма, последствия ошибок уже распространятся на клиентов и репутацию компании.
Аналогичная ситуация возникает при работе с инфраструктурой компании. Агенту можно поручить проверить состояние сервера, найти причину сбоя или предложить изменение конфигурации. Но самостоятельное применение этих изменений — другой уровень полномочий. Даже технически обоснованное решение способно нарушить работу сервиса, если модель не учла все зависимости.
Поэтому важно разделять доступ к информации и право совершать действия. Агент может читать данные, анализировать их и готовить рекомендации, но изменение критичных настроек, удаление информации или проведение финансовых операций должны требовать отдельного разрешения.
При этом ограничение прав не устраняет риск полностью. Агент способен совершить нежелательное действие даже в пределах разрешенного доступа. Например, удалить доступные ему документы при выполнении задачи по очистке хранилища. Формально операция не выходит за рамки полномочий, но результат может противоречить ожиданиям пользователя.
Одной настройки разрешений недостаточно. Нужны правила выполнения задач: какие операции можно проводить автоматически, какие требуют подтверждения, как фиксируются действия агента и можно ли их отменить.
Когда агент должен остановиться и передать решение человеку
Разработчикам предстоит научить агентные системы не только выполнять поручения, но и понимать, когда от выполнения следует отказаться.
Это особенно важно в задачах, где ошибочный ответ может повлиять на финансовое положение, безопасность или профессиональные решения человека. Например, ИИ способен собрать информацию об инвестиционных инструментах, сравнить условия и объяснить риски. Но выдавать единственную рекомендацию как готовое персональное инвестиционное решение без учета обстоятельств пользователя — уже выход за пределы разумной автономности.
Другой пример — обучение. Если человек обращается к ИИ, чтобы разобраться в задаче, готовый ответ не всегда соответствует его настоящей цели. В таком случае полезнее провести пользователя через последовательность рассуждений, помочь найти ошибку или сравнить несколько вариантов. Иначе человек получит результат, но не приобретет знания, ради которых обратился к системе.
Здесь важно учитывать намерение пользователя. Один и тот же запрос может предполагать разную помощь: готовое действие, объяснение, проверку гипотезы или поиск альтернатив. Агент, который стремится завершить задачу как можно быстрее, не обязательно приносит больше пользы. В корпоративной среде к этому добавляется необходимость проверять достаточность информации. Если агент обнаружил противоречия в документах, не получил нужные сведения или не может определить последствия операции, правильным решением будет остановиться и запросить уточнение.
Для таких ситуаций необходимо заранее определить правила. Например, агент может самостоятельно собирать диагностическую информацию и предлагать исправления, но изменение конфигурации рабочего сервиса должно подтверждаться ответственным специалистом. Если же речь идет о потенциальной потере данных или остановке критичной системы, выполнение задачи необходимо блокировать до согласования. Такая модель не исключает самостоятельности агента. Она определяет, в каких пределах его инициатива действительно полезна.
Почему успешный ИИ-пилот — еще не готовый продукт
Во время эксперимента (пилота) агент обычно работает с ограниченным набором данных и задач. На небольшом количестве примеров легко получить убедительный результат: система отвечает на вопросы, находит документы и выполняет поручения.
Однако при масштабировании условия меняются. К агенту подключают новые источники, увеличивается число пользователей, появляются разные уровни доступа и более сложные запросы. Вместе с этим растут требования к качеству ответов, скорости работы и стоимости эксплуатации.
С подобным показательным кейсом мы столкнулись при разработке корпоративного нейропоиска «Рунити». Когда база знаний выросла почти до 35 тыс. страниц, система стала чаще выводить наверх документы, похожие по теме, но не содержащие нужного ответа. Анализ показал, что необходимые материалы обычно находились, однако занимали слишком низкие позиции. При объединении смысловой поиск с поиском по точным терминам и добавив модель повторного ранжирования, которая точнее определяет релевантность документов, проблема решилась. При подключении поиска к ИИ-агентам также реализовали проверку прав сотрудников перед передачей содержимого документов модели. А чтобы агент не расходовал свои шаги на постоянную проверку готовности длительного исследования, ожидание результата перенесли на уровень самого инструмента.
Этот опыт показал, насколько сильно меняются требования к системе по мере расширения ее возможностей. На этапе пилота достаточно проверить, способен ли ИИ находить нужную информацию. При корпоративном использовании этого становится мало. Сотруднику необходимо получать актуальные документы, видеть источники ответа и понимать, почему система выбрала именно эти материалы. При этом он не должен получать доступ к закрытой информации через ИИ, если не имеет соответствующих прав в исходной корпоративной системе.
У компании появляются и дополнительные критерии оценки: стабильность работы при увеличении нагрузки, время выполнения задач и расходы на инфраструктуру. Если агент дает качественный ответ, но тратит на него слишком много ресурсов, экономический эффект от автоматизации может оказаться ниже ожидаемого.
Доступы, токены и стоимость самостоятельных решений
У агентных систем есть важная особенность: стоимость работы зависит не только от сложности исходного запроса, но и от того, какие действия агент предпринимает для его выполнения. Он может последовательно обращаться к нескольким инструментам, повторять поиск, запускать дополнительные проверки или заново выполнять операции после неудачной попытки. Каждый такой шаг требует ресурсов, а результат не всегда становится лучше.
Поэтому передача задач агентам должна начинаться с организации самого процесса. Сотруднику необходимо предоставить инструменты и доступы, которые действительно нужны для работы. Аналогичный принцип действует и для ИИ: если цель задачи не определена, а ограничения отсутствуют, система может расходовать ресурсы на действия, не приносящие пользы.
Например, агенту поручили найти информацию о работе корпоративного сервиса. Вместо последовательного обращения к нужным источникам он может многократно запускать похожие поисковые запросы или обращаться к системам, которые не содержат необходимых данных. С формальной точки зрения работа продолжается, но время выполнения и стоимость задачи увеличиваются. Для бизнеса поэтому важно заранее определить лимиты: сколько запросов агент может отправить, как долго выполнять задачу, какие инструменты использовать и при каких условиях прекратить работу.
Оценивать результат также нужно шире, чем по количеству успешно выполненных запросов. Если сотрудник после ответа агента вынужден заново проверять все документы или исправлять допущенные ошибки, реальная экономия времени может оказаться минимальной. Для массового внедрения имеет значение стоимость завершенной задачи с учетом проверки результата и возможных исправлений. Именно так можно понять, действительно ли агент повышает эффективность работы.
В чьих интересах работает ИИ-агент
Еще один вопрос, который становится важнее по мере развития автономных систем, — чьи интересы они учитывают при выборе решения. С рекомендательными алгоритмами пользователи сталкиваются давно. Интернет-магазины, онлайн-платформы и цифровые сервисы предлагают товары и контент, опираясь на предпочтения человека, историю его действий и собственные коммерческие задачи.
Но при этом, когда пользователь не понимает, какие факторы определили рекомендацию, могут возникнуть сложности. Например, система может предлагать определенный продукт потому, что он лучше соответствует запросу, или потому, что его продвижение выгоднее площадке. У ИИ-агентов влияние таких механизмов может быть заметнее. Если рекомендательный алгоритм показывает несколько предложений, человек самостоятельно выбирает одно из них. Агент же способен не только рекомендовать, но и совершить действие — оформить заказ или подключить услугу. Важно, чтобы пользователь понимал, в чьих интересах работает система, по каким критериям она выбирает решения и какие альтернативы рассматривает.
У разработчиков и поставщиков ИИ-сервисов могут быть собственные коммерческие интересы. Но если они влияют на рекомендации агента, это не должно скрываться от пользователя. Иначе возникает ситуация, когда человек воспринимает ответ как независимый анализ, хотя выбор уже ограничен настройками платформы.
Кто отвечает за последствия работы агента
Пока агент только формирует ответы, пользователь может проверить информацию и решить, применять ли ее на практике. Когда система начинает самостоятельно выполнять операции, ответственность распределяется между несколькими участниками.
Разработчик определяет технические возможности и ограничения агента. Поставщик сервиса отвечает за работу предоставляемого решения в рамках своих обязательств. Компания, которая внедряет агентную систему, устанавливает правила ее использования, предоставляет доступы и определяет, какие действия требуют подтверждения сотрудника. Сам пользователь тоже участвует в этом процессе: ставит задачу, выбирает допустимые сценарии и принимает решения, которые нельзя полностью делегировать системе.
Однако наличие такого количества участников не должно приводить к ситуации, когда после ошибки никто не может определить ответственного. Порядок действий при инциденте, границы полномочий агента и ответственность сторон необходимо закреплять заранее. Конкретное распределение юридической ответственности зависит от договоров и обстоятельств использования системы.
Особенно это важно для компаний, работающих с клиентскими данными, платежами и IT-инфраструктурой. Если агент получил разрешение изменять настройки критичного сервиса, организация должна понимать, кто согласовал такой доступ, какие операции были разрешены и как восстановить работу при ошибке.
Что бизнесу стоит предусмотреть
Для внедрения ИИ-агентов необязательно сразу создавать сложную систему управления. Но несколько правил необходимо определить еще до подключения агентов к рабочим процессам.
- Провести инвентаризацию агентских сценариев и доступов. Зафиксировать, какие системы агент использует, какие данные получает и что может изменить.
- Разделить операции по уровню самостоятельности. Чтение информации, подготовка рекомендаций и выполнение критичных действий должны иметь разные правила подтверждения.
- Определить условия отказа и остановки. Агент должен запрашивать уточнение при недостатке данных, не выходить за рамки профессиональных полномочий и передавать человеку решения с серьезными последствиями.
- Контролировать расходы и качество. Установить ограничения на использование инструментов, время выполнения и вычислительные ресурсы, а также оценивать пользу по результатам реальных задач.
- Сохранять прозрачность действий. Пользователь должен видеть, какие операции выполнил агент, на основании каких данных и как можно отменить действие или отозвать доступ.
Прежде чем предоставлять агенту доступ к корпоративным системам, необходимо определить, какие решения он вправе принимать самостоятельно, какие обязан согласовывать и кто будет отвечать за результат. Эти правила должны действовать и тогда, когда агент работает корректно, но выбирает действие, которого пользователь от него не ожидал.
➤ Подписывайтесь на телеграм-канал «РБК Трендов» — будьте в курсе последних тенденций в науке, бизнесе, обществе и технологиях.