Учёные из AIRI, SberAI и «Сколтеха» нашли способ оптимизировать большие ИИ‑модели на 10–15% без потери качества

Учёные из Института искусственного интеллекта AIRI совместно с коллегами из SberAI и «Сколтеха» нашли новое свойство больших языковых моделей и научились контролировать его. Новое открытие позволит оптимизировать модели на 10–15% без потери в качестве. Также найденное свойство снижает количество вычислительных мощностей, необходимое для их использования. Статья с исследованиями была принята на конференции в сфере ИИ — ACL 2024 (Main Track, Core A).

Как рассказали в AIRI, трансформер представляет собой тип архитектуры моделей, который привёл к революции в развитии ИИ. Именно благодаря этому типу возможно развитие популярных диалоговых ботов. Любая архитектура состоит из большого количества слоёв, через которые от «входа», например, запроса «нарисуй котёнка», информация доходит до «выхода» и преобразуется в картинку. Считается, что свойство слабых моделей — это линейность слоёв, а сильных — нелинейность (тех самых трансформеров). Линейность позволяет создавать модели более простыми и эффективными в вычислениях, но не позволяет модели решать сложные задачи, например, выучивать необычные закономерности в данных.

Доктор физико-математических наук, генеральный директор Института AIRI, профессор «Сколтеха»

«Нам удалось изучить модели под микроскопом. Простыми средствами описать сложные процессы внутри трансформеров и сразу предложить эффективный регуляризатор. Уже проверили всё на маленьких моделях, проверки на больших моделях и обучении — впереди. Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время, именно он позволяет тратить меньше вычислительных ресурсов на развёртку и инференс больших языковых моделей. На днях мы выложили препринт статьи, а она уже