Google представила архитектуру Titans и фреймворк MIRAS

Google представили архитектуру Titans и фреймворк MIRAS, которые позволяют моделям ИИ работать гораздо быстрее и обрабатывать большие объемы данных за счет обновления основной памяти во время ее активной работы.

В двух новых статьях, Titans и MIRAS , Google представила архитектуру и теоретическую схему, сочетающие скорость рекуррентных нейронных сетей (РНС) с точностью трансформеров. Titans - это конкретная архитектура (инструмент), а MIRAS - теоретическая основа (схема) для обобщения этих подходов. Вместе они развивают концепцию запоминания во время тестирования - способности модели ИИ поддерживать долговременную память за счёт включения более мощных метрик-сюрпризов (то есть неожиданных фрагментов информации) во время работы модели и без специального офлайн-обучения.

Эффективная система обучения требует отдельных, но взаимосвязанных модулей памяти, отражающих разделение человеческого мозга на кратковременную и долговременную память. Хотя механизмы внимания превосходны для точной кратковременной памяти, Titans представляет новый нейронный модуль долговременной памяти , который, в отличие от векторной или матричной памяти фиксированного размера в традиционных рекуррентных нейронных сетях, действует как глубокая нейронная сеть (в частности, многослойный персептрон). Этот модуль памяти обеспечивает значительно более высокую выразительную способность, позволяя модели обобщать большие объёмы информации, не теряя важного контекста. Модель не просто делает заметки. Она понимает и синтезирует всю историю.

Важно отметить, что Titans не просто пассивно хранит данные. Он активно обучается распознавать и сохранять важные взаимосвязи и концептуальные темы, связывающие токены по всему объёму входных данных. Ключевым аспектом этой