NVIDIA открыла веса Cosmos 3 Edge — компактной модели мира для роботов и автономных систем

NVIDIA выпустила в открытый доступ Cosmos 3 Edge — компактную модель мира (World Model) на 4 млрд параметров. Она предназначена для задач физического искусственного интеллекта: робототехники, компьютерного зрения, автономного транспорта и интеллектуальной инфраструктуры. Модель стала самым компактным представителем семейства Cosmos 3 и рассчитана на работу на устройствах с ограниченными вычислительными ресурсами.

В отличие от классических моделей компьютерного зрения, которые только анализируют изображение, Cosmos 3 Edge объединяет несколько возможностей в одной системе: модель умеет понимать окружающую сцену, прогнозировать возможные изменения в мире и генерировать действия для физических агентов. NVIDIA позиционирует ее как основу для развития Physical AI — ИИ-систем, которые взаимодействуют с реальным миром.

Cosmos 3 Edge принимает мультимодальные входные данные: текстовые инструкции; изображения; видеопотоки; траектории движения. На выходе модель может формировать: текстовые описания; изображения; видео; команды действий для роботов.

Такой подход позволяет использовать одну архитектуру сразу для нескольких сценариев: от анализа видеопотока с камеры до управления роботизированными манипуляторами.

В основе Cosmos 3 Edge лежит архитектура Mixture-of-Transformers (MoT). Она объединяет два вычислительных блока:

авторегрессионный трансформер отвечает за понимание сцены, рассуждения и работу с текстом;

диффузионный трансформер используется для генерации визуальных данных, моделирования будущих состояний и создания последовательностей действий.

За счет общей мультимодальной системы модель может не только отвечать на вопрос «что происходит сейчас», но и оценивать, что изменится после определенного действия.

Главная особенность Cosmos