Риски широкого распространения и использования искусственного интеллекта обсудили участники пленарной сессии «Использование систем искусственного интеллекта: вопросы доверия и информационной безопасности» Дня Кибербезопасности Форума GIS DAYS 2023, который прошел 6 октября в Москве.

«Вы меня сразу забросили на сторону злоумышленников, хотя мы постоянно работаем над тем, чтобы сделать жизнь лучше, — пошутил Николай Нашивочников, замгендиректора — технический директор компании «Газинформсервис», отвечая на вопрос модератора сессии Артёма Калашникова, управляющего директора Центра информационной безопасности дочерних и зависимых обществ (Газпромбанк) о перспективах сражения защитников и нападающих, вооруженных современными технологиями искусственного интеллекта и машинного обучения. — Нельзя забывать, что право первого шага Е2-Е4 — за плохими парнями. Они продвинулись дальше, не ограничены этическими соображениями, у них шире арсенал средств и возможностей больше. Для того, чтобы совершить атаку, им надо немного контекста. Использование OSINT-инструментария даёт им возможность много узнать о компании и сотрудниках, в том числе изучить жертву и, например, провести качественную фишинговую атаку, применяя методы ИИ. Для них открыто использование больших языковых моделей (LLM), в то время как ИБ-специалисты используют традиционные методы и реактивный ИИ.

«Возможностей хакеров должно сильно настораживать сообщество. Необходимо совершенствовать инструментарий. Мы этим вопросом занимаемся лет восемь, есть шансы это противодействие сделать эффективным», — отметил докладчик.

Есть ли отличительные вещи для механизмов защиты с применением систем искусственного интеллекта и без них? Важно понимать, с какими методами машинного обучения мы сталкиваемся, считает Нашивочников.

«Мы как лаборатория начинали этот путь, начиная с реактивного ИИ. Эти методы хорошо работают со структурированными данными, на них хорошо ложатся традиционные методы ИБ и та парадигма, которая с ними работает: конфиденциальность и дата-сеты», — поделился опытом спикер, добавив, что на определённых уровнях возможны утечки, но есть решения и обмен без них.

Говоря о более сложном машинном обучении, в тех случаях, когда важен контекст, в том числе исторический, например, при исследовании аномалии действий пользователей или хоста применяются deep learning и рекуррентные нейросети. «Есть модель, которая на их базе отлично выявляет вымогателей», — сообщил докладчик.

При этом встают иные вопросы защиты, появляется состязательная составляющая, возможны маскировка действий хакера, отравление моделей и другие подходы. В таких случаях нужен опыт специалиста по машинному обучению, традиционный безопасник здесь малоэффективен. «Нужны иные технологии и подходы к защите, иные компетенции», — подытожил Николай Нашивочников.

Медиа Группа «Авангард» в рамках GIS DAYS 2023 выступила организатором ключевой дискуссии в Москве.