Исследователи обнаружили вредоносные AI-маршрутизаторы, которые могут красть криптовалюту

Исследователи из Калифорнийского университета обнаружили, что некоторые сторонние AI-маршрутизаторы, использующие большие языковые модели (LLM), могут представлять угрозу безопасности и приводить к краже криптовалюты.

В статье, посвященной вредоносным атакам на цепочку поставок LLM, опубликованной исследователями в четверг, были выявлены четыре вектора атак, включая внедрение вредоносного кода и кражу учетных данных.

«26 LLM-маршрутизаторов тайно внедряют вредоносные вызовы и крадут учетные данные», — написал соавтор статьи, Чаофан Шоу, в X.

LLM-агенты все чаще маршрутизируют запросы через сторонние API-интермедиарии или маршрутизаторы, которые агрегируют доступ к таким провайдерам, как OpenAI, Anthropic и Google. Однако эти маршрутизаторы завершают TLS-соединения (Transport Layer Security) и имеют полный доступ к каждому сообщению в открытом виде.

Это означает, что разработчики, использующие AI-агенты для кодирования, такие как Claude Code, для работы над смарт-контрактами или кошельками, могут передавать приватные ключи, seed-фразы и конфиденциальные данные через инфраструктуру маршрутизаторов, которая не была проверена или защищена.

_Цепочка маршрутизаторов LLM. Источник: arXiv.org

ETH был украден из поддельного крипто-кошелька

Исследователи протестировали 28 платных маршрутизаторов и 400 бесплатных маршрутизаторов, собранных из открытых сообществ.

Результаты оказались шокирующими: девять маршрутизаторов активно внедряли вредоносный код, два использовали адаптивные механизмы уклонения, 17 получали доступ к учетным данным Amazon Web Services, принадлежащим исследователям, и один опустошил Ethereum (ETH) из приватного ключа, принадлежащего исследователю.

Связанные материалы: Anthropic ограничивает доступ к AI-модели из-за опасений кибератак

Исследователи предварительно пополнили Ethereum-кошельки «поддельными ключами» номинальными суммами и сообщили, что потерянная в эксперименте стоимость составила менее 50 долларов США, но более подробная информация, такая как хеш транзакции, не была предоставлена.

Авторы также провели два «исследования заражения», показавшие, что даже безобидные маршрутизаторы становятся опасными, когда они повторно используют скомпрометированные учетные данные через ненадежные каналы.

Трудно определить, является ли маршрутизатор вредоносным

Исследователи заявили, что было нелегко определить, является ли маршрутизатор вредоносным.

«Граница между «обработкой учетных данных» и «кражей учетных данных» невидима для клиента, поскольку маршрутизаторы уже читают секреты в открытом виде в рамках обычной маршрутизации».

Еще один тревожный вывод — это то, что исследователи назвали «режимом YOLO». Это настройка во многих AI-агентских фреймворках, в которой агент автоматически выполняет команды, не запрашивая у пользователя подтверждение каждой из них.

Легитимные маршрутизаторы могут быть незаметно преобразованы в вредоносные, даже не зная об этом оператору, в то время как бесплатные маршрутизаторы могут красть учетные данные, предлагая дешевый доступ к API в качестве приманки, — отметили исследователи.

«API-маршрутизаторы LLM находятся на критической границе доверия, которую экосистема в настоящее время рассматривает как прозрачную передачу».

Исследователи рекомендовали разработчикам, использующим AI-агентов для написания кода, усилить защиту на стороне клиента, подчеркнув, что никогда не следует передавать закрытые ключи или seed-фразы через сеанс AI-агента.

Долгосрочным решением является криптографическая подпись ответов компаниями, разрабатывающими AI, чтобы инструкции, выполняемые агентом, могли быть математически проверены как исходящие от фактической модели.

Журнал: Никто не знает, будет ли квантово-устойчивая криптография вообще работать