Представлен открытый мобильный проект PacCam, в котором Pacman управляется с помощью лица пользователя

Энтузиаст и разработчик под ником Nolen (Nolen Royalty, автор сайта с миллионом чекбоксов) представил открытый мобильный веб-проект под названием PacCam (код на GitHub, блог проекта), в котором Pacman управляется с помощью лица пользователя путём распознавания данных с камеры.

«Я задействовал React для отображения пользовательского интерфейса, игроков и так далее. Основная логика игры — это небольшой (~3 тыс. строк кода) императивный игровой движок, который я написал и подключил к React. Я использую несколько дополнительных инструментов, таких как Framer motion, radix, GIF.js и styled-components. Но ничего сумасшедшего. Игра в основном представляет собой просто код», — написал Nolen.

Код PacCam написан на JavaScript и опубликован на GitHub под лицензией MIT. Общий ответ на вопрос «как это работает» в основном такой: MediaPipe — это простой способ отслеживания лиц в браузере, а в остальном это просто веб-сайт в интернете, добавил автор проекта.

«Вы должны открывать и закрывать рот, чтобы двигаться, и поворачивать лицо, чтобы управлять направлением. Вы выглядите... довольно глупо, пока играете в неё. В конце она пытается выдать вам максимально глупый гиф с вами (она отслеживает, когда ваш рот открыт больше всего, и выстраивает гифку вокруг этого момента)», — уточнил Nolen.

Автор проекта утверждает, что всё видео в игре остаётся на пользовательском устройстве и не попадает в сеть, а приложение после загрузки модели для распознавания Face Landmarker (используется решение MediaPipe) и активации веб-камеры может работать без соединения с интернетом.

Nolen рассказал, что у него были некоторые проблемы при объединении всех технологий. Самой большой проблемой на раннем этапе было заставить React хорошо работать с MediaPipe. Наивное