Google создала ИИ, который генерирует музыку любого жанра по тестовым описаниям — но не спешит его выпускать

ИИ-технология Google MusicLM обучалась на наборе данных из 280 000 часов музыки и может создавать особо сложные композиции (например, для таких текстовых запросов, как «волшебная джазовая песня с незабываемым соло на саксофоне и сольный певец» или «берлинское техно 90-х с низким басом и сильными ударными»).

Своим глубоким обучением MusicLM, собственно, и отличается от других систем ИИ для генерирования песен – Riffusion, Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI несколько ограничены техническими возможностями и меньшим количеством использованных данных.

Музыкальные продукты MusicLM, на удивление, звучат очень подобно тем, что мог бы создать человек-композитор. К примеру, в этом фрагменте инструмент реализовал запрос «Вызывает чувство затерянности в пространстве»:

А здесь – «Основной саундтрек аркадной игры»:

Исследователи Google говорят, что MusicLM может взять несколько запросов, написанных последовательно (например, время медитировать, время просыпаться, время бегать, время выложиться на 100%) и создать своего рода мелодическую историю продолжительностью до нескольких минут – идеально подходит для саундтрека к фильму.

Ниже результат MusicLM для запросов: «электронная песня, играющая в видеоигре; песня для медитации, которую играют у реки; огонь; фейерверк».

MusicLM также можно управлять с помощью комбинации изображения и текста или генерировать аудио, которое воспроизводится определенным типом инструмента в определенном жанре. Можно выбрать даже уровень опыта «музыканта», также система способна создавать музыку, вдохновленную местами, эпохами или требованиями (например, мотивационная музыка для тренировок).

Но MusicLM небезупречна — некоторые образцы обладают искаженным качеством, что является