Ученые близки к декодированию визуального воображения из-за схожести его нейронного кода со зрительным восприятием

Этот прорыв, по сути, показывает, что человеческий мозг действует как генеративная модель. Мозг не просто пассивно воспринимает окружающий мир. Он активно его конструирует, используя одни и те же биологические механизмы как для визуального восприятия реальности, так и для визуального воображения.

Современные нейроинтерфейсы уже возвращают голос парализованным, преобразуя активность мозга в слова. Более того, ученые научились улавливать даже музыкальность и ритмику речи напрямую из записей мозговой активности, расшифровывая тончайшие нюансы человеческого общения. Теперь исследователи пытаются сделать нечто подобное с визуальными образами, изучая то, как мозг формирует их без внешнего зрительного входа, в процессе воображения.

Новое исследование, опубликованное в журнале Science, нейробиологов из Калифорнийского технологического института (Caltech) показывает, что восприятие и воображение используют схожие механизмы, но они не полностью совпадают.

Пространство признаков вместо картинок

Ученые проанализировали работу 714 нейронов у 16 пациентов с имплантированными электродами. Выяснилось, что около 80% клеток, реагирующих на зрение, работают по принципу «осевого кодирования». Они настроены не на конкретные объекты, а на определенные направления (оси признаков) в пространстве признаков (форма, текстура, детали), которые исследователи описали с помощью ИИ. Объект для мозга представляет собой точку в многомерном пространстве, а нейрон как некий датчик, который срабатывает, когда объект попадает в его «зону ответственности».

Декодирование зрительных образов

Зная этот код, ученые создали линейный декодер для реконструкции образов. Модель не рисовала изображение с нуля, а искала наиболее подходящее среди 16 тысяч образцов в базе