Суперкомпьютер создал ИИ с 1 трлн параметров: понадобилось всего лишь 3000 процессоров

Суперкомпьютер Frontier оснащен 9 472 процессорами Epyc 7A53 и 37 888 графическими процессорами Radeon Instinct. Однако ученые использовали только 3072 графических процессора. Исследователи из Национальной лаборатории Ок-Ридж (США) обучили большую языковую модель (БЯМ) наподобие ChatGPT при помощи суперкомпьютера Frontier.

Для этого им потребовалось всего 3072 из 37 888 графических процессоров, передает Toms hardware. Суперкомпьютер Frontier оснащен 9 472 процессорами Epyc 7A53 и 37 888 графическими процессорами Radeon Instinct. Однако ученые использовали только 3072 графических процессора для обучения БЯМ, которая располагает 1 трлн параметров и 1024 — для обучения другой нейросети со 175 млрд параметров.

Для обучения такого большого ИИ-бота необходим огромный объем памяти — минимум 14 Тб. Поэтому исследователи задействовали несколько графических процессоров MI250X с 64 Гб видеопамяти каждый, но это привело к новой проблеме: параллелизму. Использование большего количества графических процессоров в БЯМ требует лучшего взаимодействия для эффективного использования большего количества ресурсов.

В противном случае вся мощность графического процессора будет потрачена впустую. "Ученые решили данную проблему, использовав такие платформы, как Megatron-DeepSpeed и FSDP. В итоге результаты оказались весьма впечатляющими: при увеличении размера рабочей нагрузки больше графических процессоров использовались максимально эффективно", — сказано в материале.