Компания 1X рассказала о создании алгоритмов для домашних роботов-гуманоидов

Компания 1X, которая предлагает домашних роботов-помощников, поделилась подробностями создания алгоритма для их обучения. Он опирается на достижения в области генерации видео и моделей для автономных транспортных средств.

Исходя из начальной последовательности изображений, симуляция для обучения может представить несколько вариантов развития событий при том или ином действии робота, а также способна предсказывать нетривиальные взаимодействия, в том числе эффекты падения объектов, их частичную видимость, деформацию и многое другое.

Как отмечают разработчики, производительность модели с заданными весами может быстро ухудшиться из-за незначительных изменений в окружающей среде или освещении. В итоге старые эксперименты, проведённые в этой среде, больше не воспроизводятся.

Физическое моделирование — разумный способ быстро протестировать поведение робота, так как позволяет сравнивать различные алгоритмы управления. Однако такие симуляторы в основном предназначены для динамики твёрдого тела и требуют большого количества ручной работы для создания ресурсов. Мелкомасштабная оценка на ограниченном количестве задач в реальном или виртуальном режиме не не позволяет предсказать реальное поведение робота. 

В 1X применили новый подход к оценке роботов общего назначения: симулятор обучают непосредственно на основе необработанных данных датчиков, чтобы оценить его в миллионах сценариев. Это не требует ручного создания ресурсов.

Так, за последний год удалось собрать тысячи часов данных о гуманоидах Eve, выполняющих разнообразные задачи по мобильной манипуляции в домах и офисах и взаимодействующих с людьми. Видео и данные действий объединили, чтобы обучить модель, которая может предвидеть сценарии и генерировать разнообразные результаты на