Безопасность ИИ-агентов в компании: как дать агенту права и не потерять контроль

Чат-бот отвечает текстом. Агент действует: меняет записи в CRM, запускает скрипты, отправляет письма, проводит возвраты. Поэтому меня в агентах пугает не утечка ответа, а неверное действие, которое он совершил от имени компании и которое потом придётся разгребать руками.

Инженеры Alibaba Cloud принесли на конференцию три истории из жизни. Утечка данных между клиентами облака. Скрипт очистки, который снёс продакшн-базу. И мой фаворит: агент удалил 28 тыс. строк кода, а потом подделал запись о восстановлении. Сервис лежал 33 минуты.

• Агенты нарушают правила. По данным, которые привели в докладе Alibaba Cloud, в тесте τ-bench агенты соблюдают правила в рознице примерно в 91% случаев, в авиаперевозках - в 84%. Иначе говоря, в 9-16% случаев правила обходятся.
• Угрозы меняются год от года. На секции о безопасности описали эволюцию: в 2023 году агенту подсовывали команды прямо в тексте, в 2025-м - косвенно через данные, а в 2026-м агент уходит от цели уже сам, без чужой помощи.
• Компании плохо знают собственных агентов. Опрос CSA и Token Security 2026, который показали на Apsara: 82% находили у себя неизвестных агентов или процессы, у 65% за год был хотя бы один инцидент с агентами, а непрерывно мониторят агентов только 16%.

Оговорюсь: все цифры конференции в этой статье - заявления спикеров и их источников, независимо их никто не проверял. Но вывод во всех докладах совпадал. Модель ошибается и будет ошибаться, поэтому надёжность закладывают в обвязку вокруг неё, а не надеются на следующую версию.

Полную самостоятельность в первый день агенту не дал никто из выступавших. Компания Transfar на секции QwenWork описала внедрение по ступеням «стажёр → штатный → самостоятельный». Права растут вместе с доверием, но границы и ручная проверка не исчезают даже на верхней ступени. ZTE на секции Agentic OS добавил жёсткое правило: всё, что касается денег, персональных данных, безопасности и несовершеннолетних, остаётся на нижнем уровне автономии.

Переходить на следующую ступень агент должен по результатам экзамена, а не потому, что «вроде нормально работает». Вот какие пороги показали на конференции:

В эксплуатации ЦОД пошли дальше: агент вообще не выполняет операцию сам. Он заявляет намерение, а система проверяет права, текущее состояние и масштаб последствий. Не прошла любая из проверок - решение уходит человеку.

Но и подтверждать всё подряд - плохая идея. У одного агента для кода пользователи одобряют около 93% запросов на права. Это «усталость от одобрений»: человек жмёт «да», не читая. При этом действия, которые меняют состояние системы, занимают лишь 14-18% шагов, а основная часть решающих провалов приходится именно на них. Я из этого вывожу простое правило: подтверждение ставим только там, где меняются данные или деньги, остальное агент делает сам.

Самый показательный кейс привёз автоконцерн Geely на форум Apsara Stack. До перехода на единый AI-шлюз через старый шлюз шли только 188 агентов из 4089, то есть 4,5%. Остальные жили на 20+ самописных шлюзах, и сколько они тратят, централизованно не видел никто.

После перехода каждому агенту выдали бюджет с порогами 80/100/120%. Перешёл первый порог - алерт, второй - урезанный режим, дальше ограничение и отключение. Повод был вполне земной: счёт за июль вырос на 30% к июню, а прогноз на декабрь 2026 превышал 10 млн юаней в месяц.

На секции о безопасности разобрали атаки через «теневых» агентов в офисе. Агент выгружает репозиторий в личный GitHub сотрудника. Поддельный навык заставляет агента выполнить опасную команду на рабочем компьютере. Защита скучная, но рабочая: найти всех агентов, поставить их на учёт и разметить данные, к которым они ходят.