В MIT научили робота видеть сквозь стены через Wi-Fi

Исследователи из MIT представили Wave-Former — систему, которая позволяет роботу восстанавливать 3D-форму предметов, скрытых за картоном, гипсокартоном, деревом или тканью. Для этого используются миллиметровые радиоволны (те же, что в Wi-Fi) и специально обученная генеративная модель. На тестах система реконструировала около 70 бытовых предметов — банки, коробки, столовые приборы, фрукты — с точностью на 20% выше предыдущих методов.

Главная проблема беспроводного зрения — зеркальность отражений: миллиметровые волны отскакивают от поверхности в одном направлении, и сенсор видит только «верхушку» объекта. Раньше недостающие части пытались восстановить по законам физики, но результат оставался грубым. Команда Фаделя Адиба решила задачу иначе: радар строит частичную реконструкцию, а генеративная модель достраивает невидимые стороны. Обучать модель на реальных данных радара было бы слишком долго, поэтому исследователи адаптировали существующие датасеты компьютерного зрения, встроив в них физику миллиметровых отражений — и получили синтетическую обучающую выборку.

Вторая система, RISE, идет дальше — она реконструирует целые комнаты, включая мебель. Для этого ей нужен всего один неподвижный радар и люди, которые ходят по помещению. Когда миллиметровые волны отражаются от человека, часть из них летит дальше — отскакивает от стен и мебели и возвращается к сенсору. Эти вторичные сигналы обычно считают помехами и отбрасывают. Но в MIT заметили, что такие "призрачные отражения" несут информацию о планировке комнаты — и научили ИИ её извлекать. RISE оказалась вдвое точнее существующих методов.

Обе работы будут представлены на конференции CVPR. Среди практических применений — складские роботы, которые смогут проверять содержимое