
Эксперты обучили нейросеть переводить текст на язык жестов
Разработчики из Университета Суррея создали нейросеть, которая успешнее своих предшественников переводит обычный текст в жестовую речь. В итоге программа создает видео с сурдопереводчиком, пишет arXiv.org.
Сначала нейросеть считывает речь в виде текста, который позже преобразуется в скелетную модель тела. Именно она иллюстрирует жест сурдопереводчика. После чего последовательность поз соединяют с вектором, который в свою очередь добавляют к другому вектору. Последний получают от фотографии человека, которую нужно «оживить».
В финале преобразующего процесса сверточная нейросеть U-Net переносит позы на видео. Отмечается, что ранее программы не умели настолько качественно отрисовывать кисти рук, которые особенно важны для жестовых языков.
Читать на mir24.tv
