Google нашла способ сделать большие языковые модели быстрее и дешевле без потери качества

Google Research анонсировала технологию Speculative Cascades — гибридный подход, который объединяет сразу два проверенных метода ускорения генерации текста и меняет правила игры на рынке LLM. Этот способ позволяет делать работу нейросетей быстрее и дешевле, не жертвуя качеством ответа, а в некоторых случаях даже улучшая его.

Большие языковые модели сегодня лежат в основе чат-ботов, поисковых систем и интеллектуальных ассистентов. Но их главный минус — это огромные затраты вычислительных ресурсов, что напрямую влияет на стоимость и скорость. Для массового внедрения таких систем нужно найти баланс. С одной стороны — быстрые ответы и низкие затраты, а с другой — точность и надёжность.

До сих пор применялись два подхода. Первый — каскады. Маленькая модель пытается ответить сама, а если задача оказывается слишком сложной, её подхватывает большая. Экономия есть, но качество сильно колеблется от запроса к запросу. Второй способ — спекулятивная декодировка. Здесь маленькая модель предсказывает сразу несколько слов, а большая быстро проверяет и подтверждает результат. Это ускоряет генерацию, но нагрузка на крупную модель остаётся высокой.

В Speculative Cascades оба подхода объединены. Иногда маленькая модель полностью справляется с запросом сама. Иногда она используется как ускоритель, выдавая черновой вариант, который большая модель быстро проверяет. В итоге ресурсы расходуются эффективнее, скорость повышается, а итоговое качество остаётся на уровне крупных LLM.

Тесты на моделях Gemma и T5 показали впечатляющие результаты. Новый метод оказался быстрее спекулятивной декодировки, дешевле и надёжнее каскадов. Особенно сильный прирост наблюдается в задачах математического рассуждения: там Speculative Cascades не только ускорил