Google представила новый ИИ-алгоритм сжатия памяти TurboQuant

Исследователи искусственного интеллекта Google представили TurboQuant, новый сверхэффективный алгоритм сжатия памяти для ИИ.

TurboQuant предназначен для экстремального сжатия без потери качества, а применяется к ключевому узкому месту в системах искусственного интеллекта. Компания описывает эту технологию как новый способ уменьшения рабочей памяти ИИ без ущерба для производительности. Метод сжатия, использующий форму векторного квантования для устранения узких мест кэша в обработке ИИ, по сути, позволит ИИ запоминать больше информации, занимая при этом меньше места и сохраняя точность, как утверждают исследователи.

Векторное квантование — это мощный классический метод сжатия данных, который уменьшает размер многомерных векторов. Оптимизация решает две критически важные задачи ИИ: она улучшает векторный поиск — высокоскоростную технологию, лежащую в основе крупномасштабных систем ИИ и поисковых систем, — обеспечивая более быстрый поиск сходства; и помогает устранить узкие места в кэше «ключ-значение», уменьшая размер пар «ключ-значение», что обеспечивает более быстрый поиск сходства и снижает затраты памяти. Однако традиционное векторное квантование обычно вносит свои собственные «накладные расходы на память», поскольку большинство методов требуют вычисления и хранения констант для каждого небольшого блока данных. 

TurboQuant — это метод сжатия, который обеспечивает значительное уменьшение размера модели без потери точности за счёт высококачественного сжатия (метод PolarQuant) и устранения скрытых ошибок. PolarQuant решает проблему избыточных затрат памяти, рассматривая вектор памяти не с использованием стандартных координат (т.е. X, Y, Z), указывающих расстояние вдоль каждой оси, а преобразуя его в полярные координаты,