Старшеклассники из США разработали приложение, которое распознаёт язык жестов и озвучивает перевод через умные очки

Двое старшеклассников из Северного Техаса: Шивен Велагапуди и Аади Сангхви — разработали приложение Hand Wave, которое в режиме реального распознаёт американский язык жестов или амслен (American Sign Language, ASL) и озвучивает перевод пользователю через смарт-очки со встроенной камерой.

Школьники потратили на разработку этого приложения несколько месяцев. По словам подростков, они подхватили эту идею ради забавы и решения реальных проблем. Проект возник из личного опыта. У Сангхви есть дядя, который говорит на ASL, а отец Велагапуди внезапно потерял слух на одно ухо. Велагапуди рассказал, что технология призвана помочь большему числу людей понять сообщество, говорящее на амслене.

Велагапуди и Сангхви использовали машинное обучение для программирования букв и фраз амслена. Жесты отображаются в виде руки и переводятся с помощью умных очков. Сангхви заявил, что рассматривает этот проект как способ сблизить людей.

Друзья считают, что дополнительное время и финансирование позволят создать прототип, готовый к использованию за пределами их домашнего офиса.

В прошлом году Сангхви рассказал, что собрал переводчик языка жестов в реальном времени при помощи очков Meta* AI. Несмотря на отсутствие официального SDK и ограничений Bluetooth, Сангхви и Велагапуди разработали рабочий процесс. Они транслировали видео в Instagram**, настроили на ноутбуке приёмник, переводили данные (менее чем за 50 мс), а затем передавали их через WebSocket на iPhone, чтобы система зачитывала перевод вслух.

Модель построили на архитектуре YOLOv11, дообученной на наборе данных с несколькими распространёнными фразами.

Весной прошлого года американские исследователи представили кольцо на базе ИИ — SpellRing, которое помогает переводить с ASL в режиме реального