Видеоредактор Captions запустил бесплатную программу для дубляжа Lipdub — с поддержкой 28 языков, но пока только для iOS

Как и новая ИИ-функция ElevenLabs, приложение позволяет переводить аудио с сохранением голоса и синхронизацией губ.

Помогаем

Обновлено: Детям из Мариуполя нужно 120 ноутбуков для обучения - подари старое "железо", пусть оно работает на будущее Украины

ИИ-стартап из Нью-Йорка, которому принадлежит видеоредактор для субтитров Captions, запустил бесплатное приложение для устройств iOS, которое позволит озвучивать или переводить аудио на 28 языков, включая французский, хинди, испанский, итальянский, португальский, японский и т.д. Кроме иностранных, Lipdub добавил такие варианты, как техасский сленг и язык зумеров, а также пиратскую и детскую речь.

Чтобы воспользоваться программой, нужно записать видео продолжительностью до 1 минуты на свой телефон, так, чтобы хорошо было видно лицо. После загрузки ролика приложению понадобится несколько минут, чтобы перевести аудиосопровождение.

На демонстрации показано, что Lipdub также может менять движения губ в соответствии с выбранным языком. Однако иногда между звуком и движением губ возникает определенная задержка.

«Надеемся, что технология Lipdub устранит языковые барьеры и, в конце концов, позволит большему количеству людей услышать истории — истории, которые могут быть потеряны во время перевода», — говорит генеральный директор Captions Гаурав Мисра.

Мисра сказал, что Captions четко обозначает видео, сделанные с помощью Lipdub, как сгенерированные ИИ.

В компании также считают, что в будущем генеративный искусственный интеллект сможет обеспечивать перевод в реальном времени для трансляций или видеоконференций.

«Представьте себе, что вы разговариваете в Zoom с человеком, владеющим другим языком, но он вас прекрасно понимает», — сказал Мисра.

ИИ-стартап Captions, в котором работает 25