GenRobot обновила RealOmni OpenData. Один из самых богатых датасетов для Embodied AI стал еще сложнее

Команда GenRobot выпустила крупное обновление RealOmni OpenData, одного из самых амбициозных датасетов для обучения embodied моделей. Это не набор стерильных роликов из лаборатории, а масштабная мультимодальная база данных, собранная в реальных домах и ориентированная на сложные бытовые задачи.

RealOmni включает синхронизированные данные сразу с нескольких типов сенсоров. Используются изображения с fisheye камер, данные IMU, энкодеры суставов и тактильные датчики с разрешением до 1 мм. Такой набор позволяет моделям учить не только визуальное восприятие, но и координацию движений, контакт с объектами и динамику манипуляций.

Сценарии съемки максимально далеки от лабораторных условий. Данные собирались в более чем 3000 реальных домов. В датасете есть складывание одежды, завязывание шнурков, разбор посуды, сортировка предметов и работа с хаотичными кучами объектов. Почти все задачи двурукие, что делает RealOmni особенно ценным для обучения бимануальной манипуляции.

Отдельный акцент сделан на long horizon задачах. Медианная длина одного клипа около 210 секунд. Это не короткие эпизоды формата «взял и положил», а полноценные процессы из нескольких этапов, где важно удерживать цель, состояние окружения и последовательность действий.

В свежем апдейте добавили 35 тысяч новых клипов, сфокусированных на разгребании куч разнородных предметов. Именно такие сцены считаются одними из самых сложных для embodied моделей и часто становятся точкой отказа при переносе в реальный мир.

В перспективе проект должен вырасти до 10 тысяч часов видео и объема около 95 ТБ. На данный момент загружены Stage 1 и Stage 2, это примерно 1600 часов и около 5.4 ТБ данных. Остальной объем обещают выложить позже. Видео идут в разрешении 1600×1296 при 30 fps, формат