Парализованная женщина «заговорила» через цифровой аватар с помощью интерфейса мозг-компьютер

Лицо цифрового аватара создано по той же технологии анимации, что и The Last of Us II.

Помогаем

Детям из Мариуполя нужно 120 ноутбуков для обучения - подари старое "железо", пусть оно работает на будущее Украины

Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли в партнерстве с эдинбургской компанией Speech Graphics разработали новаторскую систему связи, которая позволяет женщине, парализованной вследствие инсульта, общаться через цифровой аватар – им она управляет с помощью интерфейса мозг-компьютер (BCI).

BCI-устройства позволяют отследить аналоговые сигналы, созданные мозгом, и превратить их в цифровые, которые может понять компьютер.

Исследователи кафедры неврологической хирургии имплантировали в языковой центр мозга пациентки 253-контактный массив электродов, который отслеживает и фиксирует сигналы, обычно приводящие в движение мышцы челюсти, губ и языка – а в этом случае передают их через кабельный порт в ее черепе на компьютер. (Вычислительный стек работает с помощью искусственного интеллекта, который в течение нескольких недель изучал шаблоны электрических сигналов пациентки из более 1000 слов).

Используя интерфейс, пациентка может написать свои ответы или говорить с помощью искусственного голоса, обученного на записях ее собственного, сделанных до паралича.

Остальную работу (создание цифрового аватара) выполнила Speech Graphics – та самая компания, которая разработала технологию фотореалистической анимации лица с Halo Infinite и The Last of Us Part II. Инструмент получает необходимые движения лица на основе анализа входного аудио, а затем передает эти данные в режиме реального времени в игровой движок, чтобы анимировать их в аватар без задержек.

«Создание