Tether выпустила фреймворк для обучения ИИ-моделей на смартфонах и обычных GPU

• Компания заявила о возможности дообучения моделей ИИ прямо на мобильных устройствах.
• Фреймворк поддерживает чипы AMD, Intel, Apple и мобильные GPU.
• Решение снижает зависимость от Nvidia и облачной инфраструктуры.

Компания Tether объявила о запуске нового фреймворка для обучения искусственного интеллекта. Он позволяет дорабатывать языковые модели на потребительском оборудовании, включая смартфоны и видеокарты, не относящиеся к Nvidia.

Решение стало частью продукта QVAC, который является платформой для создания и управления ИИ-приложениями

По данным компании, технология использует архитектуру BitNet от Microsoft и методы LoRA, что позволяет существенно снизить требования к памяти и вычислительным ресурсам. Это упрощает запуск и обучение моделей на устройствах с ограниченной мощностью.

Фреймворк поддерживает кроссплатформенную работу и может использовать чипы AMD, Intel, Apple Silicon, а также мобильные графические процессоры от Qualcomm и Apple. Таким образом, Tether расширяет доступ к инструментам ИИ за пределы традиционной инфраструктуры.

Пересечение отраслей

В компании заявили, что инженерам удалось дообучить модели с объемом до 1 млрд параметров на смартфонах менее чем за два часа. При этом более компактные модели достигали желаемых результатов за считанные минуты.

Поддержка моделей до 13 млрд параметров также распространяется на мобильные устройства.

Как отметили в Tether, использование однобитной архитектуры позволяет снизить требования к видеопамяти до 77,8% по сравнению с 16-битными моделями. Это дает возможность запускать более крупные модели на массовом оборудовании.

Кроме того, фреймворк ускоряет вывод