Согласно исследованию Cloud Security Alliance (CSA) и Token Security, за последний год две трети организаций пострадало от ИБ-инцидентов, связанных с развёртыванием агентного ИИ. Бесконтрольность в его работе приводит к утечке данных, сбоям и финансовым потерям.

Документ констатирует: большинство компаний не имеет стратегии по выводу из эксплуатации ИИ-агентов, что ещё больше повышает риски. 68% респондентов заявило об уверенности в наличии LLM в своих сетях, однако, 82% сообщило, что за последний год обнаружило ранее неизвестных агентов. Обычно их находят во внутренних средах автоматизации и ИИ-платформах.

«Этот разрыв подчёркивает различие между оперативной прозрачностью и полной гарантией управления, снижая эффективность моделей контроля, зависящих от известных и ограниченных агентов», — говорится в исследовании.

За последние двенадцать месяцев 65% опрошенных столкнулось как минимум с одним киберинцидентом. Негативные последствия включали утечку данных (61%), сбои в работе (43%) или непреднамеренные действия в бизнес-процессах (41%). 35% сообщило о финансовых потерях, а 31% столкнулся с задержками в работе клиентских или внутренних служб.

Помимо этого, в документе содержится предупреждение о том, что инциденты с участием ИИ-агентов уже влияют на основные функции предприятия, включая защиту данных, операционную непрерывность, финансовые показатели и предоставление услуг. Руководителям необходимо обеспечить проведение надлежащей оценки рисков для применения мер контроля в отношении нейросетей.

«Для организаций это переводит управление ИИ-агентами из области технического надзора в область управления бизнес-рисками. Поведение агентов теперь должно быть интегрировано в более широкие стратегии безопасности, соответствия требованиям и операционной устойчивости, а не рассматриваться как изолированная задача автоматизации», — заключают авторы.

Только каждая пятая компания имеет формальные процессы вывода ИИ-агентов из эксплуатации, что означает, что те могут оставаться в сети даже после того, как выполнили свою задачу. При этом во многих случаях боты всё ещё сохраняют разрешения и доступ к учётным данным или операционным механизмам, что может привести к непредвиденным последствиям. По мере внедрения LLM в корпоративные сети «забытые агенты», сохраняющие разрешения, создают некоторые риски, считают аналитики.

Помощник вице-президента по исследованиям в Cloud Security Alliance Хиллари Барон в связи с этим заявила: «Безопасность и управление ИИ-агентами представляют собой взаимосвязанную систему, охватывающую прозрачность, управление жизненным циклом, политику и мониторинг. Хотя базовые средства контроля существуют, остаются пробелы в согласованности и управлении по окончании срока службы. По мере того, как агенты получают большую автономию, управление должно развиваться в более унифицированную операционную модель, способную поддерживать контроль в масштабе».

Усам Оздемиров