«Замена людей не близка»: BlockSec критикует EVMBench за завышенные оценки возможностей ИИ в аудитах

Исследователи из BlockSec обнаружили, что EVMBench, инструмент для оценки безопасности смарт-контрактов на основе искусственного интеллекта, разработанный компаниями OpenAI и Paradigm, возможно, слишком оптимистично оценивал способность ИИ автоматизировать задачи, которые традиционно выполняются людьми.

EVMBench проводил тестирование ИИ-агентов в задачах, связанных с безопасностью смарт-контрактов, таких как обнаружение, исправление и эксплуатация уязвимостей, и, по сообщениям, показал впечатляющие результаты.

В блоге, опубликованном в феврале, разработчики EVMBench заявили, что ИИ смог эксплуатировать 72% уязвимостей смарт-контрактов и обнаруживать около 45%, используя 120 тщательно отобранных примеров из аудитов Code4rena, что, по их мнению, указывает на то, что "обнаружение" является основным препятствием для автоматизированного аудита.

BlockSec захотела повторно проверить эти результаты, отметив в недавней статье под названием «Переоценка EVMBench», что условия тестирования, используемые OpenAI и Paradigm, могли исказить результаты.

«EVMBench заявляет, что ИИ может эксплуатировать 72% уязвимостей смарт-контрактов, и в отрасли начали говорить о полностью автоматизированном аудите. Мы повторно протестировали с использованием большего количества конфигураций и 22 реальных инцидентов. Успешная эксплуатация: 0%», — написал соучредитель BlockSec, Yajin Zhou, в своем посте в X [https://x.com/yajinzhou/status/2034572010030862349].

Авторы увеличили количество конфигураций моделей до 26, комбинируя различные боты с разными архитектурами, то есть, например, запуская Claude на архитектуре ChatGPT, утверждая, что первоначальное тестирование 14 конфигураций агентов в значительной степени ограничивало модели их собственной архитектурой поставщика.

«Вы не можете сказать, отражает ли производительность агента возможности модели или преимущества архитектуры», — утверждают они.

Кроме того, BlockSec выразила обеспокоенность по поводу загрязнения данных в первоначальном отчете, который тестировал известные уязвимости, ранее опубликованные в 40 репозиториях Code4rena, что могло попасть в обучающие данные ИИ.

Чтобы обойти эту проблему, авторы протестировали ботов на 22 реальных инцидентах безопасности, которые произошли после середины февраля 2026 года, «чтобы эти инциденты находились за пределами окна обучения каждой модели».

Результаты

Возможно, наиболее значимым является то, что авторы обнаружили, что из 110 пар «агент-инцидент», которые они протестировали, с использованием пяти агентов, работающих с теми же 22 инцидентами, ни одна попытка эксплуатации не увенчалась успехом, что указывает на то, что даже самые современные ИИ далеки от эксплуатации реальных уязвимостей.

Тем не менее, результаты повторного тестирования EVMBench от BlockSec для обнаружения уязвимостей ИИ в целом соответствовали первоначальному отчету, при этом Claude Opus 4.6 показал наилучшие результаты, обнаружив 13 из 20 реальных уязвимостей.

«Распределение сложности задач следует четкой схеме. Шесть инцидентов были обнаружены почти всеми агентами (от 87,5% до 100%), связанных с известными схемами, такими как манипуляции с резервами и незащищенный переполненный множитель. Но четыре инцидента не были обнаружены ни одним агентом, а пять – только одним из восьми агентов», – написал Чжоу.

«Эти результаты ставят под сомнение утверждение о том, что полностью автоматизированный аудит с использованием ИИ неминуем. Агенты надежно обнаруживают известные схемы и хорошо реагируют на контекст, предоставленный человеком, но они не могут заменить человеческое суждение», – добавил он.

Чжоу заключает, что «EVMBench является ценным вкладом», поскольку он предоставляет стандарт оценки для индустрии безопасности криптовалют. Он также отметил, что исследователи, работающие с ИИ и люди, уже выполняют разные, но одинаково полезные задачи, каждая из которых компенсирует слабости другой.

«Настоящий вопрос заключается не в том, «может ли ИИ заменить людей?», а в том, «как должны работать люди и ИИ вместе?». ИИ занимается широтой (системным сканированием), а люди – глубиной (знанием протоколов, анализом с позиции противника). Ни один из них не может выполнять работу другого. Вместе они формируют полную систему аудита», – написал Чжоу.

«Аудит с использованием ИИ имеет реальную ценность, но замена людей пока невозможна. Правильное направление – это сотрудничество человека и ИИ», – добавил он.

Отказ от ответственности: The Block – это независимое СМИ, которое предоставляет новости, исследования и данные. По состоянию на ноябрь 2023 года, Foresight Ventures является основным инвестором The Block. Foresight Ventures инвестирует в другие компании в сфере криптовалют. Криптовалютная биржа Bitget является основным партнером Foresight Ventures. The Block продолжает работать независимо, чтобы предоставлять объективную, содержательную и своевременную информацию о индустрии криптовалют. Вот наши текущие финансовые отчеты.

© 2026 The Block. Все права защищены. Эта статья предоставлена только в информационных целях. Она не является и не предназначена для использования в качестве юридической, налоговой, инвестиционной, финансовой или иной консультации.