

Британские ученые создали нейросеть, переводящую текст в жестовую речь
Разработчики из Университета Суррея в Англии создали нейросетевой алгоритм, способны превращать в текст в жестовую речь. Об этом сообщает портал arXiv.org.
Алгоритм качественно производит сурдоперевод и отдельно обучается для качественного синтеза кистей рук. Он изначально принимает речь в виде текста, который проходит через кодировщик и превращается в модель тела с иллюстрацией жеста говорящего. Полученная последовательность поз кодируется в вектор и подается на сверточную нейросеть U-Net.
Во время обучения алгоритм проверяет качество своей работы после синтеза видео. Такой метод позволил добиться гораздо лучшего результата, чем у предыдущих подобных. Ученые обучали алгоритм на на датасете PHOENIX14T, состоящем из 386
Читать на delovoe.tv
