Энергоэффективность уровня «мозг»: как архитектура ANT спасет планету от ненасытного ИИ

Современный искусственный интеллект напоминает старый американский маслкар: мощности много, но расход топлива такой, что о экологии лучше не вспоминать. Пока технологические гиганты строят дата-центры размером с небольшой город, ученые из Массачусетского университета решили, что пора перестать нагревать атмосферу синхронными вычислениями. Они представили архитектуру ANT, которая копирует биологические принципы работы нейронов.

Нынешние большие языковые модели — это монстры синхронизации. Миллиарды параметров обновляются одновременно под диктовку глобального тактового цикла. Это стабильно и удобно для разработчиков, но катастрофически дорого для энергосети. Для сравнения: человеческий мозг с его 86 миллиардами нейронов потребляет около 20 ватт. Это меньше, чем лампочка в вашем холодильнике. ИИ-модели аналогичной сложности требуют гигаватты энергии и сложные системы охлаждения.

Команда под руководством профессора Хавы Зигельман (Hava Siegelmann) опубликовала в журнале Nature Communications исследование архитектуры ANT (Asynchronous Neural Turing networks). Главная фишка — полный отказ от единого тактового сигнала. В мозгу нейроны не ждут друг друга; они активируются группами только тогда, когда это нужно для конкретной задачи.

Ключевая проблема асинхронных сетей ранее заключалась в том, что их было почти невозможно обучить традиционными методами вроде градиентного спуска. Хава Зигельман, которая еще в 1995 году доказала, что рекуррентные нейронные сети имеют вычислительную мощность машины Тьюринга, нашла способ сохранить дифференцированное обучение в асинхронной среде. Это позволяет системе обновлять только те части сети, которые необходимы в данный момент, снижая энергопотребление на порядки.

Кроме экономии электроэнергии,