Развёртывание агентского ИИ будет приводить к публичным утечкам данных в следующем году, что вызовет увольнения сотрудников, прогнозирует Forrester. Старший аналитик Пэдди Харрингтон отметил, что GenAI уже стал причиной нескольких инцидентов с момента своего появления три года назад.

«По мере того, как компании начинают создавать рабочие процессы с использованием агентского ИИ, эти проблемы будут становиться всё более распространёнными. Без правильных ограничений данные технологии могут пожертвовать скрупулёзностью ради скорости доставки, особенно при прямом взаимодействии с клиентами», — пояснил эксперт.

Нередко такие события происходят из-за «каскада сбоев» со стороны нейросети, а не по вине отдельных лиц. Чтобы предотвратить эти сбои и поиск «козлов отпущения», Харрингтон рекомендует организациям разрабатывать агентские приложения с «минимально жизнеспособным уровнем безопасности» и следовать принципам AEGIS (Agentic AI Enterprise Guardrails for Information Security). Это означает обеспечивать надлежащее управление идентификацией и доступом для отслеживания активности агентов, а также внедрять средства контроля безопасности данных. Опасения Forrester разделяет также и компания Gartner, которая ранее предсказала, что в течение двух лет агенты ИИ на 50% сократят время, необходимое злоумышленникам для проведения успешной атаки.

Наряду со случайным и непреднамеренным взломом данных имеется немало прецедентов применения нейросетей во вредоносных целях. Так поставщик решений безопасности Check Point заявил, что инструмент Hexstrike-AI Red Team, работающий на основе агентского ИИ, используется хакерами для ускорения разведки, создания эксплойтов и доставки полезной нагрузки. Вендор предупредил, что задача, которая могла бы занять несколько дней или недель, теперь может быть выполнена менее чем за десять минут.

Усам Оздемиров