GenEx пытается научить AI представлять, что находится «за углом»

Исследователи Университета Джонса Хопкинса создали систему искусственного интеллекта, которая может генерировать полностью исследуемое трехмерное окружение по одному фото. Система, названная GenEx, может помочь роботам и AI-агентам лучше понимать и ориентироваться в сложных ситуациях, позволяя им воображать, что находится за пределами их непосредственного видения. Представьте, что это дает машинам форму воображения - способность представить, что может быть за следующим поворотом.

Вместо использования фотографий из реального мира команда обучала GenEx, используя виртуальные окружения из игровых движков, таких как Unreal Engine 5 и Unity. Это позволило им эффективно собирать разнообразные обучающие данные.

Процесс обучения использует кубмапы - способ проецирования 360-градусных видов на шесть квадратов, образующих куб. Команда собирала предопределенные пути исследования через эти виртуальные миры, систематически сканируя разные направления движения для построения комплексного набора данных. Это помогло GenEx научиться создавать плавные переходы между различными точками зрения. По словам исследователей, результаты впечатляют. Даже при исследовании до 20 метров в созданных окружениях изображения остаются стабильными и когерентными. Стандартные метрики качества показывают низкие показатели ошибок, что говорит о том, что система производит очень реалистичные визуализации. GenEx может создавать обзоры сверху, перемещаясь вдоль вертикальной оси, давая AI-агентам более широкий обзор их окружения - как будто иметь перспективу дрона, не нуждаясь в самом дроне.

Система также удивительно хорошо справляется с созданием многопроекционных видео объектов. В то время как другие открытые модели борются с этой задачей, GenEx поддерживает