ИИ-агенты без риска: как бизнесу обеспечить безопасность новых технологий

Как ИИ-агенты меняют профиль киберрисков

Внедрение ИИ-агентов меняет подход к информационной безопасности бизнеса. Если привычные генеративные модели преимущественно отвечают на запросы пользователей, то агентные системы самостоятельно взаимодействуют с корпоративными приложениями и управляют ИТ-инфраструктурой.

По сути, ИИ-агент становится цифровым сотрудником, которому предоставляются определенные полномочия. Например, у HR-специалиста есть доступ к персональным данным сотрудников, информации об их зарплатах и премиях. Установленный под его учетной записью ИИ-агент может получить аналогичные права и распорядиться информацией не так, как изначально предполагал человек, в том числе передать ее во внешний сервис.

Еще серьезнее последствия могут быть в инженерных подразделениях, где ИИ-агенты применяются для тестирования продуктов, настройки инфраструктуры и поиска уязвимостей. Здесь ошибка способна привести не только к утечке информации, но и к остановке продуктивных систем крупной компании.

Один из характерных сценариев связан с использованием skill-файлов — готовых инструкций, определяющих последовательность действий агента. Они позволяют автоматизировать конкретные задачи, например анализ изображений, тестирование программного обеспечения или развертывание инфраструктуры. Подобные инструкции доступны в публичных репозиториях. Однако вместе с полезными файлами там встречаются и вредоносные. В ходе одного из наших исследований мы обнаружили большое количество потенциально опасных инструкций.

Злоумышленник может разместить в открытом репозитории skill-файл, который содержит дополнительное действие. Например, после завершения работы агент должен перейти по ссылке, скачать и установить определенную программу. В результате в корпоративной инфраструктуре может появиться вредоносное ПО, позволяющее впоследствии получить несанкционированный доступ.

Другой тип угроз связан с тем, что агент может самостоятельно выбрать способ выполнения задачи. Предположим, сотрудник поручил установить программу, но у агента недостаточно прав доступа. Вместо того чтобы запросить разрешение, он может попытаться получить необходимые привилегии самостоятельно — например, найти учетные данные в корпоративных системах. Хотя первоначальное поручение было легитимным, выбранный способ его выполнения создает инцидент информационной безопасности.

Нежелательные последствия возможны даже без попыток получить дополнительные права. Например, агенту поручено установить обновление для программы. В процессе он обнаруживает конфликт совместимости с другим ПО и решает удалить мешающие файлы. В результате обновление может быть установлено, но сама система перестанет работать.

Такие ситуации показывают, что источником угроз становится не только вредоносное воздействие извне, но и автономность агентных систем. Поэтому критически важные операции должны выполняться с ограниченными полномочиями, а потенциально опасные действия — требовать подтверждения человека.

Почему запреты не защищают от теневого использования ИИ

Корпоративные регламенты зачастую появляются позже, чем сотрудники начинают применять новые инструменты. Сегодня не только разработчики и инженеры используют искусственный интеллект. ИИ-агенты становятся частью повседневных процессов в самых разных подразделениях.

Причина объяснима: бизнес и сами сотрудники видят реальную пользу технологий. Например, в нашей практике внедрение ИИ, в том числе агентных систем, позволяет повышать производительность разработчиков на 15–30%. При этом у специалистов по информационной безопасности не всегда есть полное представление о том, кто и какие ИИ-инструменты применяет. Это затрудняет контроль за передачей корпоративных данных и качеством результатов работы.

Особенно чувствителен вопрос коммерческой тайны. Незнакомый с корпоративными ограничениями сотрудник может использовать внешний облачный ИИ-сервис для обработки конфиденциальных материалов. В таком случае информация передается за пределы корпоративного контура.

В разработке программного обеспечения неконтролируемое использование ИИ порождает еще одну проблему — снижение поддерживаемости кода. Агентные системы способны генерировать его быстро и в больших объемах. Однако, если разработчик бездумно принимает готовое решение, не понимая его архитектуры, дальнейшее сопровождение продукта может оказаться крайне сложным.

Самая эффективная стратегия — выстраивать управляемый процесс внедрения ИИ. Он включает в себя три компонента.

1. Обучение сотрудников. Необходимо объяснять, какие ИИ-агенты разрешены, как их устанавливать и какие данные допустимо передавать внешним сервисам. Например, подготовка презентации на основе публичной информации и работа с исходным кодом критически важного продукта требуют разных подходов к безопасности.
2. Корпоративные регламенты, согласованные со службой информационной безопасности. Они должны учитывать особенности подразделений и определять допустимые сценарии применения ИИ.
3. Регулярные тренинги и обмен практиками. Сотрудники, которые уже успешно используют ИИ, могут делиться опытом с коллегами. Это позволяет распространять безопасные подходы и синхронизировать работу разных команд.

Кибериммунитет как основа безопасности ИИ-агентов

Безопасность ИИ-агентов необходимо обеспечивать еще на этапе проектирования, определяя, с какими системами они смогут взаимодействовать, какие данные обрабатывать и какие операции выполнять самостоятельно. На этом основан кибериммунный подход: мы исходим из того, что требования безопасности должны быть заложены в архитектуру системы изначально. Даже если агент допустит ошибку или столкнется с вредоносной инструкцией, последствия должны оставаться ограниченными. Эти принципы мы также систематизировали в руководстве «Безопасность ИИ-агентов через призму кибериммунитета», посвященном рискам агентных систем и способам их снижения.

Например, в нашей компании работа началась с совместного планирования подразделения разработки и службы информационной безопасности. Все сценарии применения ИИ мы разделили на две категории:

1. Работа с критически важной информацией — исходным кодом, интеллектуальной собственностью и другими чувствительными данными. Для таких задач предусмотрена внутренняя инфраструктура.
2. Процессы, которые можно безопасно выполнять с помощью облачных ИИ-сервисов. Например, перевод технической документации и маркетинговых материалов более чем на 20 языков мира.

После этого мы определили меры изоляции агентов, согласовали их со службой информационной безопасности и провели тестирование. Для разграничения полномочий можно использовать отдельные учетные записи, контейнеризацию и ограничения сетевого взаимодействия с корпоративной инфраструктурой. Это позволяет предоставить агенту необходимые инструменты, не открывая доступ к системам, которые не относятся к его задачам.

Отдельный уровень защиты связан с контролем взаимодействия агентов и языковых моделей. Для этого используются решения класса LLM Firewall, которые анализируют запросы к модели и ее ответы. Например, система может обнаружить попытку передать во внешний сервис зарплатную ведомость или фрагмент конфиденциального кода. Проверка ответов позволяет выявлять инструкции, способные побудить агента к нежелательным действиям.

Защитные правила должны учитывать конкретный сценарий использования ИИ. Если агент применяется для тестирования программного обеспечения, необходимо исключить попытки обхода тестов или получения доступа к другим частям инфраструктуры. Если агент работает с конфиденциальными документами, приоритетом становится контроль передаваемой информации.

Однако даже правильно выстроенная архитектура не исключает ошибок. Поэтому перед запуском в продуктивную среду мы проверяем агентов в тестовом окружении, воспроизводящем условия их будущей работы. Это помогает заранее выявить потенциально опасные сценарии и убедиться, что агент не выходит за пределы назначенных полномочий.

Особенно важно сохранять контроль при использовании ИИ в разработке. Внедрение агентных систем не отменяет существующих практик безопасной разработки, а требует их усиления. Независимо от того, написал код человек или ИИ-агент, он должен пройти обязательное код-ревью перед включением в основную релизную ветку продукта. В нашей практике этот этап остается блокирующим: непроверенный код не может попасть в релиз.

ИИ также можно использовать для проверки безопасности кода. Например, наиболее критичные части наших продуктов круглосуточно анализируются отдельной ИИ-моделью на наличие уязвимостей. Она помогает выявлять ошибки и потенциально опасные конфигурации как в коде, написанном разработчиками, так и в результатах работы агентов.

Кто отвечает за действия ИИ-агента

По мере расширения автономности ИИ-агентов возникает вопрос: кто должен нести ответственность, если система допустила ошибку или создала угрозу безопасности? Можно ли снять ответственность с сотрудника, поскольку непосредственно опасное действие выполнил ИИ?

На мой взгляд, здесь необходим однозначный принцип: за результат работы ИИ-агента отвечает человек. ИИ не должен рассматриваться как замена сотрудника, так как это инструмент, который дополняет его профессиональные возможности и повышает производительность.

Использование ИИ-агентов в компании должно быть санкционировано. Сотрудник устанавливает инструмент, его применение согласовывается с руководителем, а соответствующий сценарий фиксируется во внутреннем реестре использования ИИ. Аналогичный принцип действует в разработке. Если сотрудник написал код с помощью ИИ-агента, этот код все равно считается результатом работы самого разработчика, который отвечает за его качество и безопасность.

Этот подход необходимо закреплять в корпоративных правилах: передача задачи агенту не означает передачи ответственности за ее результат. Есть области, в которых участие человека принципиально необходимо. К ним относятся сложные инженерные и архитектурные задачи, настройка инфраструктуры, разработка критически важных программных продуктов и работа с аппаратным обеспечением. Для оценки результатов, прохождения процедур релиза и дальнейшего сопровождения продуктов по-прежнему нужны уникальные знания и опыт человека.

Главная задача внедрения ИИ — повысить продуктивность специалистов. Мы формулируем этот подход просто: теми же ресурсами делать больше. Существующая команда может быстрее разрабатывать продукты, выпускать новые функции и решать больше задач без пропорционального увеличения штата.

Именно в этом заключается потенциал ИИ-агентов для бизнеса. Но реализовать его можно только при условии, что расширение технологических возможностей сопровождается понятными правилами безопасности, ограничением полномочий и сохранением человеческого контроля над критически важными решениями.