Робособаку Boston Dynamics научили считывать показания приборов и обнаруживать утечки

Компания Boston Dynamics интегрировала Google DeepMind в своего робота-собаку Spot, обеспечив ему более автономное мышление для проведения промышленных инспекций, таких как обнаружение утечек и считывание показаний приборов. Spot также теперь может распознавать, когда необходимо задействовать другие инструменты искусственного интеллекта.

Робот Spot теперь оснащён моделью Gemini Robotics-ER 1.6 от Google DeepMind — высокоуровневой моделью воплощённого мышления, которая обеспечивает интеллектуальные возможности для решения сложных задач.

Благодаря ИИ робособака способна автономно искать опасный мусор или разливы, считывать показания сложных приборов и смотровых стекол, а также использовать такие инструменты, как модели «зрение-язык-действие», когда ей нужна помощь в понимании происходящего в окружающей среде.

Вместо написания формальной программной логики исследователи взаимодействовали с Gemini Robotics, используя разговорный язык. Используя SDK Spot, они разработали слой, который упростил взаимодействие между Gemini Robotics и программным интерфейсом (API) Spot. API обычно предоставляет разработчикам доступ к возможностям робота для создания пользовательских приложений или моделей поведения. Например, исследователи из Meta* использовали Spot для тестирования того, как система искусственного интеллекта может находить и извлекать объекты, которые она никогда раньше не видела.

Для начала требовалось объяснить Gemini Robotics, что ему нужно делать. При написании базовых инструкций исследователи столкнулись с определёнными трудностями. Простые указания, такие как «положите объект» или «сделайте снимок», были недостаточно подробными для воспроизведения ожидаемого поведения. Пришлось добавлять контекст в описания по мере доработки