Скрытые инструкции и тонкие методы манипуляции

Поделиться

Ссылка скопирована

Исследователи из Google DeepMind предупредили, что открытый интернет может быть использован для манипулирования автономными ИИ-агентами и захвата контроля над их действиями.

Исследование, озаглавленное "AI Agent Traps" (Ловушки для ИИ-агентов), было опубликовано в связи с тем, что компании внедряют ИИ-агентов для решения реальных задач, а злоумышленники начинают использовать ИИ для кибер-операций.

Вместо того, чтобы фокусироваться на том, как создаются модели, исследование рассматривает среды, в которых работают агенты. В нем определены шесть типов ловушек, которые используют особенности того, как ИИ-системы считывают и действуют на основе информации из интернета.

Шесть категорий атак, описанных в статье, включают ловушки внедрения контента, ловушки семантической манипуляции, ловушки когнитивного состояния, ловушки контроля поведения, системные ловушки и ловушки, связанные с участием человека.

Скрытые инструкции и тонкие методы манипуляции

Внедрение контента является одним из наиболее прямых рисков. Скрытые инструкции могут быть размещены внутри HTML-комментариев, метаданных или скрытых элементов страницы, что позволяет агентам считывать команды, которые остаются невидимыми для пользователей. Тесты показали, что эти методы могут успешно контролировать поведение агентов.

Семантическая манипуляция работает иначе, опираясь на язык и формулировки, а не на скрытый код. Страницы, содержащие авторитетные формулировки или замаскированные под исследовательские сценарии, могут влиять на то, как агенты интерпретируют задачи, иногда обходя встроенные механизмы защиты и передавая вредоносные инструкции.

Вам также может быть интересно: Google и Microsoft поддерживают x402 Foundation для стандартизации ИИ-управляемых криптоплатежей

Другой уровень атак направлен на системы памяти. Заражая источники, которые агенты используют для получения информации, ложными данными, злоумышленники могут влиять на результаты работы агентов со временем, заставляя агента воспринимать ложные данные как проверенные знания.

Атаки контроля поведения используют более прямой подход, нацеливаясь на действия, которые выполняет агент. В этих случаях инструкции, позволяющие обойти ограничения, могут быть встроены в обычный веб-контент и прочитаны системой во время обычной навигации. Отдельные тесты показали, что агенты с широкими правами доступа могут быть вынуждены находить и передавать конфиденциальные данные, включая пароли и локальные файлы, на внешние ресурсы.

Системные риски выходят за рамки отдельных агентов, и в статье предупреждается, что скоординированные манипуляции во многих автоматизированных системах могут вызвать цепную реакцию, аналогичную прошлым крахам рынка, вызванным алгоритмической торговлей.

Человеческие эксперты также являются частью зоны риска, поскольку тщательно составленные результаты могут показаться достаточно правдоподобными, чтобы получить одобрение, что позволяет вредоносным действиям проходить через контроль без вызывания подозрений.

Как защититься от этих рисков?

Для противодействия этим рискам исследователи предлагают сочетание методов, таких как состязательное обучение, фильтрация входных данных, мониторинг поведения и системы репутации для веб-контента. Они также указывают на необходимость более четких правовых рамок, касающихся ответственности, когда ИИ-агенты совершают вредоносные действия.

В статье не предлагается полное решение, и утверждается, что в отрасли все еще отсутствует общее понимание проблемы, что приводит к тому, что существующие меры защиты разрознены и часто направлены на неправильные области.

Подробнее: x402 присоединяется к Linux Foundation при поддержке Google, Stripe и AWS