Google LiteRT-LM — новый фреймворк для офлайн-запуска LLM на Android, Chrome и даже Raspberry Pi

Google представила LiteRT-LM — фреймворк, который позволяет запускать большие языковые модели локально, без подключения к интернету. Именно он лежит в основе Gemini Nano в Chrome, Chromebook Plus и Pixel Watch.

• Работая над LiteRT-LM , Google сделали быстрого, дешевого, конфиденциального и самое главное - офлайн агента.

LiteRT-LM делится на

Engine (ядро)

auto engine = Engine::Create("gemini_nano.tflite");
auto tokenizer = engine->GetTokenizer();
auto base_decoder = engine->GetTextDecoder();


Session (отдельная задача, например обработка картинки)

auto session = engine->CreateSession();
session->LoadLoRA("summarizer.lora");
session->SetKVCacheEnabled(true);

std::string result = session->Run("Summarize this text: ...");



Следует подметить следующие оптимизации: Context Switching , Session Cloning и Copy-on-Write KV-Cache

Сам фреймворк, он же полноценный стек для on-device LLM уже работает на Android, Linux, macOS, Windows и даже Raspberry Pi , поддерживает ускорение с помощью CPU, GPU и NPU.

Можно даже интегрировать LiteRT-LM в свои проекты, потому что все это С++ и относительно прозрачный API

Теперь разработчики могут собирать приложения с языковыми моделями, которые работают автономно — хоть в браузере, хоть на Raspberry Pi.

🔗 LiteRT HuggingFace community

🔗 GitHub

📌 70+ ИИ - моделей без vpn и ограничений