Nvidia обещает ранее невиданные звуки в новом аудиогенераторе с ИИ

Nvidia хочет, чтобы вы знали, что ваши самые странные аудиоприхоти теперь возможны. Последний проект компании, наряду с ее AI NPC и игровым чатботом, — это инструмент ИИ для преобразования текста в аудио под названием Fugatto. Как и другие генеративные модули, аудио ИИ от Nvidia может создавать треки из простых описаний, но этот инструмент также утверждает, что генерирует «звуки, которые никогда не слышали раньше», например, «ревущий саксофон» — что бы это ни значило.

В сообщении в блоге Nvidia под названием Fugatto — это «швейцарский армейский нож для звука», способный изменять существующее аудио или создавать целые звуковые ландшафты с нуля. Fugatto — это сокращение от громоздкого названия «Fundamental Generative Audio Transformer Opus 1». Он может обрабатывать голоса, музыку и фоновый шум, смешивая их в одну звуковую дорожку, или изменять существующие источники.

Назвать что-либо «звуком, который вы никогда раньше не слышали» — это смелое заявление, особенно когда это сгенерировано ИИ. В конечном счете, аудиовыход ИИ — это результат алгоритмов, обученных на существующих данных для приближения к подсказке пользователя. Nvidia утверждает, что Fugatto уникален, поскольку он объединяет инструкции, которые были разделены во время обучения, чтобы «создать звуковые ландшафты, с которыми он никогда раньше не сталкивался». Например, он продемонстрировал генерацию звука поезда, трансформирующегося в оркестровую партитуру или в затихающий вдали дождь.

Эти возможности кажутся беспрецедентными. Помимо возможности воспроизведения «электронной музыки с лающими собаками в ритме», Nvidia утверждает, что ее инструмент обеспечивает «тонкий контроль» над генерируемыми звуковыми ландшафтами. Компания также заявила, что закадровый голос в