В Великобритании ученые представили нейросеть, которая превращает текст в видео с жестовым языком

Соответствующую статью опубликовали на ресурсе препринтов arXiv.

Отмечается, что разработчики создали алгоритм, который может переводить текст жестовой речью. В частности нейросеть отдельно учится качественно рисовать кисти рук, потому что именно они важны для точного сурдоперевода.

"Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в  реалистичное видео ", - говорится в сообщении.

Как отметили разработчики, созданный алгоритм также совершенствует свои навыки. Он