ИИ научили определять активность руки пользователя смартфона по касаниям и свайпам

Исследователи из университетов Аалто и Лейпцига разработали модель, которая помогает оценить физические усилия, затрачиваемые на касания и свайпы экрана смартфона.

Авторы разработки задались вопросом: насколько физически утомительны для кисти руки эти движения? Их модель искусственного интеллекта позволяет моделировать активацию мышц и использовать энергию для определения уровня физической нагрузки при заимодействия со смартфоном.

«Это первый случай, когда кто-либо разработал инструмент, который может помочь дизайнерам и разработчикам быстро оценить, насколько физически утомительным может быть реальный мобильный пользовательский интерфейс», — говорит Антти Оуласвирта, профессор Университета Аалто и Института ELLIS в Финляндии. 

Log2Motion — модель искусственного интеллекта, которая преобразует данные с экрана смартфона в имитацию движений человека. Движение этой модели опорно-двигательного аппарата основано на данных предыдущих исследований захвата движений.

В симуляции модель человека, состоящая из цифровых костей и мышц, двигает указательным пальцем, взаимодействуя со смартфоном, лежащим на столе. С помощью программного эмулятора модель может использовать реальные мобильные приложения в режиме реального времени. Она может воспроизводить данные, собранные у пользователей, чтобы показать, что происходило во время взаимодействия. Затем модель Log2Motion оценивает движение, скорость, точность и усилие этих биомеханических движений.

Модель открывает совершенно новые горизонты для исследований использования смартфонов, а также для дизайна.

«Мы обнаружили, что некоторые жесты сложнее выполнять — в данном случае, свайпы вверх-вниз и вниз-вверх. Небольшие значки и области в углах экрана также требуют дополнительных усилий», —