Tether AI представляет BitNet LoRA framework, поддерживающий обучение больших моделей на мобильных устройствах

По информации от Wu Shuo, генеральный директор Tether, Paolo Ardoino, представил новую версию QVAC Fabric от команды Tether AI, заявив о выпуске первого в мире кроссплатформенного BitNet LoRA framework. Этот фреймворк, основанный на Vulkan и Apple Metal, поддерживает GPU от AMD, Intel, Apple и мобильные GPU, что позволяет выполнять микронастройку и вывод BitNet LoRA на различных производителях GPU и операционных системах. Сообщается, что на устройствах Pixel 9, S25, iPhone 16 была продемонстрирована микронастройка моделей с максимальным количеством параметров до 38 миллиардов, а также возможность микронастройки моделей с 130 миллиардами параметров на iPhone 16. Вывод на мобильных GPU происходит в 2-11 раз быстрее, чем на CPU, а использование памяти снижается до 90%.