Нейросеть в смартфоне. Qualcomm оптимизировала Stable Diffusion для быстрой работы на Snapdragon 8 Gen 2

Внедрение больших языковых моделей, таких как Stable Diffusion, в смартфоны – это следующий шаг в распространении генеративных инструментов на более широкую аудиторию.

Обычно для запуска таких генеративных нейросетей требуется много вычислительной мощности, и большинство программ, предлагающих такие услуги на мобильных устройствах, выполняют обработку в облаке. Однако Qualcomm доказала, что ее версия Stable Diffusion может легко сделать это и на смартфоне.

Qualcomm показала Stable Diffusion версии 1.5, которая сгенерировала изображение размером 512 x 512 пикселей за 15 секунд. Для сравнения: генерация изображений на приличном ноутбуке займет несколько минут, поэтому такой результат с телефона впечатляет.

Не сообщается, какой именно смартфон использовали для демонстрации — но он оснащен флагманским чипсетом Snapdragon 8 Gen 2 (выпущенный в ноябре прошлого года и имеющий процессор Hexagon, ориентированный на ИИ). Инженеры компании также выполнили различные оптимизации ПО, чтобы обеспечить оптимальную работу программы.

На самом деле, другие экспериментаторы уже пробовали запустить Stable Diffusion на Android. Разработчик Айвон Хуанг рассказывал в блоге о запуске генеративной нейросети на Sony Xperia 5 II с процессором Qualcomm Snapdragon 865 и 8 ГБ оперативной памяти. Хотя, как отметил Хуанг, создание изображения 512 x 512 с этой настройкой заняло час.

It took Stable diffusion for 1 hour to generate a 512×512 image on an #Android phone whereas it can do it in seconds on PC. The face in the generated image is like »WHY? Why did you spend time on doing this?» pic.twitter.com/hpzC88LmXU

— Ivon Huang☸️?✝️┇[email protected] (@Ivon852) February 19, 2023

Apple еще в декабре выпустила оптимизации, необходимые для локального