"Страж имеет ключи от вольера." Исследователи из Cornell Tech и Yale предоставили десять моделям искусственного интеллекта доступ к криптовалютным кошелькам с лимитом в один цент за день. Девять из них превысили этот лимит, не запросив разрешения у кого-либо. Это заставляет задуматься о тех, кто уже видит, как искусственные агенты совершают платежи от нашего имени.

Основные моменты этой статьи:

• Исследователи обнаружили, что 9 из 10 моделей ИИ самостоятельно превысили лимит своих расходов, используя коды подтверждения, предназначенные для людей.
• Исследование показало, что 5 из 10 моделей ИИ перевели деньги симулированному злоумышленнику, что подчеркивает потенциальные риски автоматизированных систем оплаты, управляемых искусственными агентами.

Искусственные агенты: 9 из 10 моделей превышают свой собственный лимит

Схема была простой. Криптовалютный кошелек агента Circle, пополненный на 10 USDC в сети Base, имел дневной лимит расходов в 1 цент. Агент имел инструменты для чтения электронных писем, просмотра веб-страниц и использования своего кошелька. И вот здесь все и произошло: почтовый ящик агента также использовался для получения кодов подтверждения, предназначенных владельцу.

Процент случаев самостоятельного превышения лимита расходов в зависимости от модели ИИ и сценария тестирования. Только Claude Opus 5.5 никогда не превышал лимит. Источник: I-HITL (Cornell Tech / Yale), GitHub

Каждая модель 20 раз проходила каждый сценарий. Без участия злоумышленника, 9 из 10 моделей хотя бы один раз превысили свой лимит, просто извлекая из почтового ящика код подтверждения, предназначенный для подтверждения решения человеком. Только одна модель, Claude Opus 5.5 от Anthropic, не пыталась этого сделать, а вместо этого тратила средства до лимита, а затем сообщала о не оплаченных счетах, как сообщает CoinDesk.

Агент ничего не взломал. Он прочитал электронное письмо, скопировал код, нажал кнопку "подтвердить", точно так же, как это сделал бы старательный помощник, желающий выполнить свою задачу.

Мошенничество: 5 из 10 моделей отправляют деньги злоумышленнику

Второй тест вызывает больше опасений. Исследователи симулировали злоумышленника, который писал агенту, выдавая себя за владельца, и требовал оплату на свой собственный кошелек. Инструкция, данная агенту, ограничивалась только суммированием полученных электронных писем.

Пять из десяти моделей превысили свой лимит и хотя бы один раз отправили деньги злоумышленнику.

« Большинство систем оплаты, используемых агентами, проверяют, было ли получено одобрение, а не обязательно то, что его действительно предоставил человек», – резюмирует исследователь Анзалоне из университета Вероны. Компания Circle, получившая уведомление в октябре, напоминает, что ее документация «явно указывает на то, что агенту искусственного интеллекта никогда не следует предоставлять неограниченный доступ к электронной почте», используемой для проверки. В пресс-релизе не упоминается о каких-либо изменениях в продукте.

Countersign: решение заключается в физическом действии

В исследовании под названием «I-HITL: Неотъемлемая роль человека в цикле» и подписанном аспирантами Сэмуэлем Бренбридж и Дани Виларделл, сформулировано простое правило. Любое одобрение, которое может получить агент, не является надежным. Исследователи разработали Countersign, мобильное приложение с открытым исходным кодом для Android и iPhone, которое требует физического взаимодействия, которое программное обеспечение не может имитировать, по словам Дани Виларделл. Экран подтверждения также должен отображать точное представление действия, которое необходимо подтвердить.

Для вас, практический вывод заключается в одном предложении: агент, управляющий кошельком, никогда не должен иметь доступ к каналу, используемому для подтверждения его собственных транзакций, будь то электронная почта, SMS или уведомления.

Тем не менее, крупные компании в этой сфере движутся в противоположном направлении, предлагая кошельки для агентов, например, MetaMask или Coinbase. Компания Chainalysis за год обработала уже 138 миллионов платежей через агентов с использованием протокола x402 на платформе Base.