Новое приложение от Google — Lyria Camera: музыка, генерируемая через объектив смартфона

Команда Google DeepMind анонсировала приложение Lyria Camera, которое в реальном времени создаёт музыку на основе того, что видит ваша камера. Проще говоря, оно превращает окружающую действительность в уникальный, постоянно меняющийся саундтрек.

Наводите камеру на что угодно — городскую улицу, страницу скетчбука или тарелку с завтраком, — и приложение начинает генерировать музыку, отражающую настроение сцены. Под капотом две мощные технологии: Gemini, который анализирует изображение и описывает его музыкальными терминами, и Lyria RealTime API, который превращает описания в непрерывный поток звука.

Разработчики предлагают несколько сценариев использования, которые отлично демонстрируют потенциал приложения:

Мелодии можно искать в рисунках, интерьере или случайном узоре.

Направьте камеру в окно поезда или закрепите телефон над приборной панелью автомобиля. Lyria Camera будет реагировать на меняющийся пейзаж.

На десктопе можно использовать функцию «Поделиться экраном», чтобы вместо камеры использовать вкладку браузера или любое другое окно. Попробуйте запустить приложение во время работы или игровой сессии — и получите уникальный саундтрек к процессу.

В основе Lyria Camera лежит связка AI‑моделей, создающая бесшовный аудиовизуальный цикл.

Gemini анализирует видеопоток с камеры и переводит кадры в текстовые описания, но не просты, а связанные с музыкой. Например: «Задумчивое фортепиано, спокойствие городского пейзажа». Эти описания становятся инструкциями для следующего шага.

API Lyria RealTime производит бесконечный поток аудио, который можно «направлять». Когда промпты от Gemini меняются, музыка плавно трансформируется, подстраиваясь под новое описание без пауз и скачков.

Lyria Camera — это демонстрация возможностей новой Lyria