Google говорит, что ее суперкомпьютер для обучения ИИ почти вдвое мощнее и экономнее аналогичных систем с чипами NVIDIA A100

Во вторник Google опубликовала научную статью, в которой подробно рассказала о собственном суперкомпьютере для обучения моделей искусственного интеллекта. Компания отметила, что ее машины гораздо быстрее и энергоэффективнее, чем аналогичные системы от NVIDIA.

Google с 2016 года разрабатывает и разворачивает свой чип для искусственного интеллекта под названием Tensor Processing Unit (TPU). Внутри компании TPU используют для более чем 90% работы Google по обучению искусственного интеллекта – процесса передачи большого массива данных языковой модели, чтобы сделать ее способной к таким задачам, как ответы на запросы человеческим текстом или генерация изображений.

Компания с помощью своих специально разработанных оптических переключателей объединила более 4000 таких чипов в машинах в суперкомпьютер, на котором в течение 50 дней училась модель Google PaLM.

Google говорит, что ее суперкомпьютеры позволяют легко менять соединение между чипами «на ходу», что помогает быстро решать проблемы и увеличивать производительность.

«Эта гибкость позволяет нам даже изменять топологию соединения суперкомпьютера, чтобы ускорить производительность модели машинного обучения», – написали в блоге о системе сотрудник Google Норм Джоуппи и ведущий инженер Google Дэвид Паттерсон.

Хотя Google только сейчас поделилась подробностями о собственном суперкомпьютере, он работает в сети с 2020 года в центре обработки данных в округе Мейс, штат Оклахома. Компания говорит, что систему использовал стартап Midjourney для