Tether выпустила кросс-платформенный фреймворк BitNet LoRA, позволяющий дообучать модели с миллиардами параметров на устройствах потребительского класса.

PANews сообщила 21 марта, что компания Tether объявила о выпуске кросс-платформенного фреймворка BitNet LoRA для дообучения, интегрированного в QVAC Fabric, который обеспечивает оптимизацию для обучения и инференса модели Microsoft BitNet (1-битная LLM). Этот фреймворк значительно снижает требования к вычислительной мощности и памяти, позволяя обучать и дообучать модели с миллиардами параметров на ноутбуках, графических процессорах потребительского класса и смартфонах.

Это решение является первым, которое позволяет дообучать модель BitNet на мобильных графических процессорах (включая Adreno, Mali и Apple Bionic). Тесты показывают, что модель с 125 миллионами параметров может быть дообучена примерно за 10 минут, а модель с 1 миллиардом параметров — примерно за 1 час, и это может быть расширено до модели с 13 миллиардами параметров на мобильных устройствах.

Кроме того, фреймворк поддерживает разнородное оборудование, такое как Intel, AMD и Apple Silicon, и впервые обеспечивает дообучение 1-битных LLM с использованием технологии LoRA на устройствах, отличных от NVIDIA. С точки зрения производительности, модель BitNet достигает скорости инференса в 2-11 раз выше на мобильных графических процессорах по сравнению с процессорами, при этом потребление памяти снижается примерно на 77,8% по сравнению с традиционными 16-битными моделями.

Компания Tether заявила, что эта технология может положить конец зависимости от высокопроизводительных вычислительных мощностей и облачной инфраструктуры, способствовать развитию обучения ИИ в направлении децентрализации и локализации, а также предоставить основу для новых сценариев использования, таких как федеративное обучение.