Питерские исследователи научили компьютер распознавать эмоции человека по видео

Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) создали интеллектуальную программную систему MASAI, которая включает в себя комплекс нейросетей, способных распознавать естественные эмоции человека по аудиовизуальной информации (видео, звук и текст). В перспективе разработка позволит создавать более эффективные цифровые помощники, работающие на принципах эмоционального искусственного интеллекта.

Учёные считают, что для дальнейшего внедрения искусственного интеллекта (ИИ) и связанных с ним сервисов, важно научить его распознавать весь спектр разнородной информации от пользователя: речь, мимику, жесты, взгляд, поведение, а также текстовую информацию. Подобные системы смогут работать даже в сложных условиях: шума, плохого освещения или когда человек просто молчит или не смотрит в камеру. Более того, ИИ-сервисы смогут распознавать такие сложные эмоциональные проявления, как сарказм или ирония — когда смысл сказанного не совпадает с интонацией или выражением лица. В итоге это позволит повысить качество работы цифровых помощников.

«В рамках решения этой задачи мы разработали интеллектуальную систему MASAI многомодального анализа видео, звука и текста для распознавания эмоций человека, например, радости, злости, грусти и прочих эмоциональных проявлений. Кроме того, программа может проводить сентимент-анализ информации — определять отношение человека к какому-либо событию: отрицательное, положительное или нейтральное», — рассказал один из авторов разработки, руководитель лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Алексей Карпов.

Разработка представляет собой программное приложение, через интерфейс которого можно загрузить и обработать любые аудиовизуальные данные. В