Модель Gemini от Google, которая может работать на роботах локально

Во вторник, Google DeepMind выпустила новую языковую модель под названием Gemini Robotics On-Device, которая может пробег задачи локально на роботах без подключения к Интернету.

Основанная на предыдущей модели Gemini Robotics, выпущенной в марте, Gemini Robotics On-Device может управлять движениями робота. Разработчики могут отслеживать и настраивать модель для удовлетворения различных потребностей, используя подсказки на естественном языке.

В бенчмарках Google утверждает, что модель работает на уровне, близком к облачной модели Gemini Robotics. Компания утверждает, что она превосходит другие модели на устройствах в обычных бенчмарках, хотя и не называет эти модели.

В демонстрации компания показала роботов, выполняющих такие задачи, как расстегивание сумок и складывание одежды. Google сообщает, что хотя модель была разработана для роботов ALOHA, позже ее адаптировали для работы с двуруким роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik.

Google утверждает, что двурукий робот Franka FR3 успешно справился со сценариями и объектами, которые он ранее «не видел», например, выполнил сборку на промышленном конвейере.

Google DeepMind также выпускает Gemini Robotics SDK. Компания заявила, что разработчики могут показать от 50 до 100 демонстраций задач роботам, чтобы научить их выполнять новые задачи, используя эти модели на физическом симуляторе MuJoCo.

Другие разработчики моделей ИИ также пробуют свои силы в робототехнике. Nvidia создает платформу для создания базовых моделей гуманоидов; Hugging Face не только разрабатывает открытые модели и наборы данных для робототехники, но и работает над роботами; а корейский стартап RLWRLD, поддерживаемый Mirae Asset, работает над созданием базовых моделей для роботов.