A new paper from DeepSeek proposes the DualPath inference system, which nearly doubles the agent's throughput.
Новая работа от DeepSeek представляет систему вывода DualPath, которая почти удваивает производительность агента.
27 февраля PANews сообщила, что, пока индустрия с нетерпением ждет флагманскую модель нового поколения, DeepSeek V4, команда DeepSeek тихо выпустила новую научную статью. В статье представлена инновационная система вывода под названием DualPath, специально оптимизированная для производительности больших языковых моделей (LLM) при работе с агентами. Вводя механизм "двойного пути чтения KV-Cache (подобно кэшу памяти)", перераспределяется нагрузка на сеть хранения, что увеличивает производительность автономного вывода до 1,87 раза и среднее количество запусков агентов в секунду для онлайн-сервисов до 1,96 раза. Во введении к статье говорится, что большие модели быстро эволюционируют от одноразовых чат-ботов и независимых моделей вывода до систем агентов, способных к автономному планированию, вызову инструментов и решению практических задач посредством многоэтапных взаимодействий. Этот сдвиг в парадигме применения приводит к существенным изменениям в рабочих нагрузках вывода больших моделей: от традиционного взаимодействия человека с большой моделью до взаимодействия человека, большой модели и среды, при этом количество этапов взаимодействия достигает десятков или даже сотен.