Американские учёные представили ИИ-кольцо, которое помогает переводить язык жестов

Научная группа под руководством Корнеллского университета разработала кольцо на базе искусственного интеллекта SpellRing, которое помогает в режиме реального времени переводить с американского языка жестов или амслена (American Sign Language, ASL). Помимо ИИ, гаджет использует микросонар для отслеживания дактилологии.

На текущем этапе SpellRing можно использовать для ввода текста на компьютере или смартфоне с помощью дактилологии, которая используется в амслене для написания слов без таких знаков, как имена собственные и технические термины. В дальнейшем кольцо должно произвести революцию в переводе с ASL, непрерывно отслеживая целые жестовые слова и предложения, уверены исследователи.

Многие другие подобные технологии не приняли в сообществе глухих и слабослышащих из-за громоздкости и непрактичности оборудования, поделился докторант в области информатики Корнеллского университета и ведущий автор работы Хаянчул Лим. По его словам, команда стремилась уместить все необходимые компоненты в кольцо, чтобы фиксировать все тонкие и сложные движения пальцев в ASL.

Работу учёных представят на конференции Human Factors in Computing Systems, которую Ассоциация вычислительной техники проведёт в японской Иокогаме с 26 апреля по 1 мая 2025 года.

SpellRing надевают на большой палец. Кольцо оснащено микрофоном и динамиком, которые посылают и принимают неслышимые звуковые волны, отслеживая движения руки и пальцев владельца. За отслеживание движения руки также отвечает мини-гироскоп. Все компоненты расположены внутри напечатанного на 3D-принтере кольца и корпуса размером чуть менее пятирублёвой монеты.

Запатентованный алгоритм глубокого обучения обрабатывает данные сонара и прогнозирует дактилологические буквы ASL в режиме реального времени с