NVIDIA представила HGX H200, ускоритель ИИ на архитектуре Hopper с памятью HBM3e, вдвое быстрее H100

NVIDIA анонсировала HGX H200, новую аппаратную вычислительную платформу искусственного интеллекта. Создано на базе архитектуры NVIDIA Hopper, устройство оснащено графическим процессором H200 Tensor Core.

Помогаем

Поможем врагу с билетами на кобзона. Собираем на Mavic для наших защитников

NVIDIA HGX H200 впервые на рынке предлагает скоростную память HBM3e. В составе ускорителя работают 141 ГБ памяти со скоростью 4,8 ТБ в секунду, что почти вдвое больше и в 2,4 раза быстрее по сравнению с NVIDIA A100. Поставки систем на базе H200 от ведущих мировых производителей серверов и провайдеров облачных услуг начнутся во втором квартале 2024 года.

Компания обеспечивает работу ИИ не только аппаратно, но и программно. Наряду с новым ускорителем NVIDIA представила библиотеки с открытым кодом TensorRT-LLM.

Ускоритель H200 способен удвоить скорость вычисления у модели Llama 2 с 70 млрд параметров по сравнению с H100. С обновлениями программного обеспечения ожидается дополнительный прирост производительности.

NVIDIA H200 будет доступен на серверных платах NVIDIA HGX H200 с четырех- и восьмиканальными конфигурациями, совместимыми с аппаратным и программным обеспечением систем HGX H100. Процессор входит в состав NVIDIA GH200 Grace Hopper из HBM3e.

Благодаря высокоскоростным соединениям NVIDIA NVLink и NVSwitch HGX H200 обеспечивает высокую производительность в различных рабочих нагрузках, включая обучение LLM и работу с тяжелыми моделями с более чем 175 млрд параметров.

Восьмиканальный HGX H200 обеспечивает более 32 петафлопс вычислений глубокого обучения FP8 и 1,1 ТБ совокупной памяти с высокой пропускной способностью для высокой производительности в генеративных приложениях.

В сочетании с процессорами NVIDIA Grace со сверхбыстрым