Google показала функцию Gemini с ответами о происходящем за окном

Google продемонстрировала экспериментальную функцию Gemini, которая позволяет ИИ-помощнику отвечать на вопросы о том, что окружает автомобиль, временно используя фронтальную камеру. 

Функцию продемонстрировал Самир Самат, президент Android в Google, во время беседы с Логаном Килпатриком, руководителем продуктового направления Google AI Studio. Её работу показали на Volvo EX60, поставки которого, как отметил Самат, еще не начались. Этот автомобиль работает на встроенной платформе Google с Gemini и пока единственный, который использует эту функцию. 

Концепция покажется знакомой всем, кто использовал режим камеры Gemini Live на телефонах Android. 

«Мы хотели посмотреть, что произойдёт, если Gemini сможет видеть мир, пока вы едете», — сказал Самат во время демонстрации.

Он также затронул вопрос конфиденциальности. По словам Самата, Gemini не анализирует дорогу впереди постоянно, а изображение с камеры передаётся только после того, как пользователь явно вызывает Gemini и задаёт вопрос.

Во время демонстрации наблюдалась заметная задержка при подключении видеопотока к Gemini. В отличие от Gemini Live на смартфоне, на экране информационно-развлекательной системы не отображалось изображение в режиме реального времени, а звучали голосовые ответы Gemini.

Несмотря на более медленное время отклика, демонстрация показала впечатляющее визуальное понимание. Самат попросил Gemini определить ориентиры, видимые через лобовое стекло вокруг кампуса Google в Маунтин-Вью. ИИ-помощник правильно распознал несколько местных достопримечательностей, включая публичную художественную инсталляцию The Orb, описал детали солнечной крыши Gradient Canopy и даже объяснил архитектурную историю расположенного неподалеку амфитеатра Shoreline. 

Демонстрация