Испанское Агентство по защите данных зафиксировало первую атаку ИИ-агента

Испанское Агентство по защите данных (AEPD) получило первое сообщение о взломе персональных данных. Инцидент совершил агент искусственного интеллекта, использовавший известную языковую модель.

По данным AEPD, ИИ-агент сначала искал уязвимости в общих файлах, затем успешно вошел в систему. Получив доступ, он автономно нашел уязвимости в приложении, изменил персональные данные и получил доступ к счетам.

Агентство отмечает: информация поступила от пострадавшей организации и требует дальнейшего анализа. До выводов делать рано.

AEPD уточняет, что использование конкретной ИИ-модели не означает компрометацию самой модели или инфраструктуры ее поставщика, ни то, что инструмент изначально создали для вредоносных целей.

«С точки зрения защиты данных, важно, что стороннее лицо успешно применило ИИ-агента как инструмент для последовательного проведения этапов атаки», — заявили в AEPD.

Хотя эта первая заявка не указывает на статистическую тенденцию, она сигнализирует: атаки с ИИ-поддержкой вышли за рамки теории и проявляются в реальных инцидентах с персональными данными.

ИИ в кибератаках: автоматизация незаконных действий

Использование ИИ во вредоносной деятельности не ново. В кибератаках он может автоматизировать незаконные действия.

По данным AEPD, генеративные модели давно используют для создания фишинговых писем, перевода мошеннических кампаний, подмены личности, анализа кода и поиска уязвимостей.

Появление ИИ-агентов меняет ситуацию. Агент может получить цель, спланировать промежуточные задачи, использовать инструменты, выполнять код, обращаться к источникам, интерпретировать результаты и автономно менять действия в зависимости от обнаруженного.

Агентство утверждает: ИИ не создает новых угроз, но увеличивает скорость, масштаб и адаптивность известных вредоносных методов. Это сокращает время на их обнаружение и сдерживание.

Значение этого инцидента, помимо технологии, в изменении ландшафта управления рисками, отметил Франсиско Перес Бес, заместитель директора Агентства, в своем блоге.

Во-первых, это подтверждает необходимость явно включать атаки с помощью ИИ в анализ рисков. Недостаточно общей ссылки на вредоносное ПО, фишинг или несанкционированный доступ, поскольку автоматизация значительно меняет вероятность, скорость и масштаб инцидента.

Во-вторых, необходимо пересмотреть время реагирования. Процедуры для ручных атак могут оказаться неэффективными, когда агент одновременно сканирует множество активов, тестирует разные способы доступа и быстро меняет поведение.

В-третьих, как уточнил Перес Бес, растет значение цифровых идентификаторов и учетных данных. Агент, получивший аккаунт, ключ или токен с избыточными разрешениями, может действовать со скоростью машины, получая доступ к различным сервисам до того, как организация заметит аномальное поведение.

Наконец, эта атака показывает: безопасность систем не может полагаться только на ручное вмешательство. Человеческий надзор остается необходимым, но он должен опираться на механизмы обнаружения, сдерживания и реагирования, работающие достаточно быстро, подчеркнул заместитель директора Агентства.

По его мнению, появление ИИ-агентов в сфере атак требует немедленного пересмотра моделей безопасности и защиты данных.