Внутренний ИИ Meta спровоцировал утечку конфиденциальных данных

• Внутренний ИИ-агент Meta предложил решение, которое сотрудники компании реализовали.

• ИИ-агенты совершают ошибки, которые люди не совершают из-за отсутствия накопленного контекста, по мнению экспертов.

В середине этой недели внутренний ИИ-агент компании Meta дал указание инженеру компании выполнить действия, которые привели к утечке большого объема конфиденциальных данных пользователей и самой компании группе сотрудников в течение двух часов. Этот инцидент вызвал внутреннее предупреждение о безопасности высокого приоритета внутри компании.

Компания Meta не выпустила никаких официальных заявлений, хотя, как сообщила The Guardian, анонимный представитель компании подтвердил факт инцидента.

Этот представитель также заявил, что «данные пользователей не были скомпрометированы» и подчеркнул, что «человек также может давать ошибочные советы». Подробности о том, какой объем данных и какие типы данных были скомпрометированы, не были предоставлены.

Согласно информации, опубликованной The Guardian, инцидент произошел, когда сотрудник Meta опубликовал вопрос о проблеме в области инженерии на внутреннем форуме компании. Впоследствии ИИ-агент ответил с решением. Сотрудник реализовал это решение, не задавая вопросов, что привело к тому, что большой объем конфиденциальных данных стал доступен инженерам компании в течение двух часов.

Этот эпизод иллюстрирует определенный тип риска, который ИИ-агенты представляют в корпоративной среде. Специалист по безопасности, использующий ИИ, Jamieson O’Reilly, которого цитирует The Guardian, объяснил структурную разницу между ИИ-агентом и человеческим сотрудником:

Инженер, работающий в компании два года, обладает накопленным опытом о том, что важно, что может сломаться в 2 часа ночи, какова стоимость сбоя, какие системы затрагивают клиентов. Этот контекст живет в нем, в его долгосрочной памяти, даже если он не находится в фокусе.

Jamieson O’Reilly, специалист по безопасности, использующий ИИ.

Специалист Jamieson O’Reilly высказал свое мнение об утечке данных в Meta. Источник: LinkedIn.

ИИ-агент, напротив, работает только с информацией, которая явно включена в его контекстное окно (некий вид активной рабочей памяти), и эта информация исчезает, если она не включена в его обучающие данные.

Другими словами: человек интуитивно знает, что нельзя поджигать диван, чтобы обогреть комнату. Агент ИИ не обладает этим интуитивным пониманием, если его явно не запрограммировали на это.

Тарек Нсейр, сооснователь консалтинговой компании, специализирующейся на использовании ИИ в бизнесе, был более прямолинеен в своей оценке. По его заявлениям, Meta и другие крупные компании находятся на «экспериментальных этапах» внедрения агентов ИИ, не проводя при этом надлежащей оценки рисков.

«Если бы вы дали это начинающему специалисту, вы бы никогда не предоставили ему доступ ко всем вашим критически важным данным отдела кадров», – отметил он.

Предыстория: риски ИИ в системах с реальными деньгами

Инцидент в Meta происходит на фоне более широких предупреждений о рисках, связанных с агентами ИИ, работающими без достаточного контроля со стороны человека.

В январе прошлого года отчет компании Lambda Class из Аргентины предупредил, что агенты ИИ вводят векторы сбоев, которые не были предусмотрены в первоначальном дизайне Ethereum: они могут генерировать неправильные адреса, путать единицы измерения или быть подвержены манипуляциям посредством внедрения инструкций. В отличие от человеческой ошибки, которая остается на концептуальном уровне, ошибка агента, работающего с реальными средствами, приводит к немедленным и необратимым потерям.

Это предупреждение получило конкретный пример 15 февраля, когда протокол DeFi Moonwell потерял 1,7 миллиона долларов из-за ошибки в смарт-контракте, который установил цену токена cbETH в 1,12 доллара, когда его реальная стоимость превышала 2200 долларов.

В публичном коде ошибки было указано, что соавтором является модель Claude Opus 4.6 от Anthropic, что привело к тому, что часть технического сообщества назвала это первой задокументированной хакерской атакой на код, сгенерированный ИИ. Ошибка прошла все проверки человеком, не будучи обнаруженной.

В свою очередь, Виталик Бутерин, сооснователь Ethereum, который считает, что ИИ может ускорить технологическое развитие, также предупреждает, что при программировании с использованием ИИ «абсолютная безопасность невозможна».](https://www.criptonoticias.com/tecnologia/vitalik-vibecoding-ia-desarrollo-ethereum/)

То, что связывает инцидент с Meta с случаями Moonwell и предупреждениями Lambda Class, – это один и тот же вывод: агенты ИИ могут точно выполнять инструкции, но при этом совершать катастрофические ошибки, именно потому, что им не хватает неявного контекста, который люди приобретают с опытом.

Теги: Искусственный интеллект (ИИ) Исследования Последние новости

У вас есть важная информация для наших журналистов? Свяжитесь с нами