
Британские ученые научили нейросеть превращать текст в видео с языком жестов
Соответствующую статью опубликовали на ресурсе препринтов arXiv.
Так, разработчики создали алгоритм, который может переводить текст на язык жестов. В частности, нейросеть отдельно учится качественно вырисовывать кисти рук, потому что именно они важны для точно сурдоперевода.
Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которого нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает изменение поз в реалистичное видео.
Созданный британцами алгоритм также совершенствует свои навыки. Он анализирует, насколько удачно создал скелетную модель
Читать на hromadske.ua



