Nvidia лидирует в тестах MLPerf по измерению производительности ИИ-чипов

Графические процессоры Nvidia в очередной раз почти полностью заняли первое место в одном из самых популярных тестов для измерения производительности чипов в сфере искусственного интеллекта. На этот раз основное внимание уделяется генеративным приложениям ИИ, таким как большие языковые модели (LLM).

Особой конкуренции не было. Системы, собранные компаниями SuperMicro, Hewlett Packard Enterprise, Lenovo и другими, в состав которых входит до восьми чипов Nvidia, в среду заняли большинство лидирующих позиций в тестовом бенчмарке MLPerf, организованном отраслевым консорциумом MLCommons.

Тест, измеряющий, насколько быстро машины могут генерировать токены, обрабатывать запросы или выводить образцы данных, известный как ИИ-вывод, является пятой частью многолетнего теста на прогнозирование.

На этот раз MLCommons обновил тесты скорости, добавив два теста, представляющих распространённые варианты использования генеративного ИИ. Один тест показывает, насколько быстро чипы работают с LLM Llama 3.1 405b от Meta* с открытым исходным кодом, которая является одной из самых крупных программ генеративного ИИ.

MLCommons также добавил интерактивную версию Llama 2 70b от Meta. Этот тест предназначен для имитации работы чат-бота, где время отклика имеет значение. Машины тестируются на скорость генерации первого токена вывода языковой модели, чтобы имитировать необходимость быстрого ответа, когда кто-то вводит запрос.

Третий новый тест измеряет скорость обработки графовых нейронных сетей, которые представляют собой задачи, состоящие из множества объектов и их связей, например, в социальной сети.

Графовые нейронные сети стали более важными компонентами программ, использующих генеративный ИИ. Например, подразделение Google DeepMind широко использовало