iPhone 17 Pro и нейросетевой гигант: как 12 ГБ оперативной памяти «переварили» 400 миллиардов параметров

Когда мы говорим о современных смартфонах, маркетологи обычно кормят нас цифрами о мегапикселях и гигагерцах. Но иногда энтузиасты делают что-то действительно дикое, что выходит за пределы здравого смысла и официальных спецификаций. На этот раз под раздачу попал iPhone 17 Pro. Устройство заставили запустить большую языковую модель (LLM) на 400 миллиардов параметров. Для контекста: обычно такие «монстры» требуют более 200 ГБ оперативной памяти, тогда как у флагмана Apple её лишь 12 ГБ LPDDR5X.

Конечно, никакой магии или «расширения памяти» с помощью сомнительного софта здесь нет. Демонстрация стала возможной благодаря открытому проекту Flash-MoE. Эта технология решает главную проблему мобильных устройств — катастрофическую нехватку оперативной памяти для больших весов моделей. Вместо того, чтобы пытаться запихнуть всю нейросеть в RAM, алгоритм использует внутреннее хранилище смартфона (NAND-флеш) как основной резервуар.

Данные подаются потоком непосредственно из флеш-памяти к графическому процессору (GPU). Это позволяет обходить физическое ограничение в 12 ГБ, но за такую дерзость приходится платить скоростью. Собственно, скорость генерации составила всего 0.6 токена в секунду. Это примерно одно слово каждые две секунды. Читать такой текст — сомнительное удовольствие, похоже на общение с очень уставшим философом, но сам факт запуска впечатляет.

Running 400B model on iPhone!
0.6 t/s
Credit @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP

Вторым важным фактором является сама архитектура Mixture of Experts (MoE). В отличие от классических плотных моделей, где для генерации каждого слова привлекаются все параметры одновременно, MoE активирует лишь небольшую часть «экспертов». То есть, имея 400 миллиардов