Meta* показала Brain2Qwerty v2: конвертируем мысли в слова с помощью шлема

Представьте: вы надеваете шлем, садитесь за клавиатуру и просто думаете о тексте. Нейросеть тем временем печатает его за вас. Без сверления черепа, без имплантов, без риска занести инфекцию. Все еще звучит как научная фантастика? (особенно на фоне разработок и обещаний Маска) А вот Meta* с партнёрами из Basque Center on Cognition, Brain, and Language (BCBL) говорят, что это уже реальность.

Они анонсировали Brain2Qwerty v2 — вторую версию пайплайна, который декодирует текст из мозговой активности. Первая версия только-только вышла в Nature, а ребята уже катят качественный апдейт.

В первой версии модель угадывала отдельные клавиши по сигналу магнитоэнцефалографа (MEG). Символ за символом, как древний телеграф. Средний процент ошибок составил около 29–32%. С дешёвой и носимой ЭЭГ всё было печально: 67% ошибок — почти непригодно для жизни.

В v2 авторы перешли на end-to-end подход. Модель больше не выковыривает буквы по одной — она декодирует целые предложения, опираясь на семантический контекст. По сути, нейросеть не просто слышит «шум» из мозга, а понимает, о чём вы думаете. И дообучает всё это дело на больших языковых моделях, чтобы сгладить шум и выдать связную речь.

Итак, по версии Meta*, v2 достигает 61% точности на уровне слов в среднем по группе. А для лучшего участника — все 78%. Причём больше половины предложений декодируются с одной ошибкой или меньше.

Для сравнения: другие неинвазивные методы давали лишь 8%. Разница — в 7–10 раз.

Обучали систему на ~22 000 предложениях от девяти добровольцев. Каждый участник провёл в MEG-сканере по 10 часов, активно печатая тексты. И да, авторы выяснили, что точность растёт лог-линейно с объёмом данных. То есть если накормить модель ещё большим корпусом, показатели могут приблизиться к