Гуманоидный робот научился синхронизировать движения губ с речью в реальном времени

Почти как человек.

Исследователи из Колумбийского университета разработали новую систему, которая позволяет гуманоидному роботу синхронизировать движения губ со звуком речи так, что это выглядит максимально приближенно к человеческой мимике. Робот может воспроизводить движения губ во время разговора или пения и делает это в реальном времени.

Результаты исследования опубликовали в научном журнале Science Robotics.

Система способна работать с разными языками. Она корректно воспроизводит движения губ не только на английском, но и на французском, китайском, арабском и еще ряде языков, даже если часть из них не использовалась при обучении модели.

По словам исследователей, во время тестирования новый подход превзошел пять существующих методов и показал наилучшее соответствие между движениями рта робота и эталонными видео с человеческой мимикой. Команда отмечает, что система смогла создавать реалистичные движения губ для 11 языков, которые имеют разное звуковое строение.

Разработку планируют применять, в частности, в образовании и уходе за пожилыми людьми. В то же время исследователи отмечают необходимость осторожного использования технологии, чтобы избежать злоупотреблений.

В большинстве случаев современные роботы реагируют на мимику человека с опозданием — они копируют выражение лица уже после того, как человек его показал. Это выглядит неестественно. Новая система поступает иначе: она пытается предсказать выражение лица человека еще до того, как оно полностью сформируется.

Для этого команда создала антропоморфного робота по имени Emo. Это обновленная версия предыдущей платформы Eva. Emo имеет 26 приводов для движений лица, что позволяет создавать асимметричные мимические выражения. У Eva таких приводов было всего 10.

Лицо