Waymo использует Genie 3 для обучения роботакси — от торнадо до слонов на дороге

Waymo представила Waymo World Model — генеративную модель для симуляции дорожных сценариев, построенную на базе Genie 3 от Google DeepMind. Модель генерирует фотореалистичные сцены с данными камер и лидаров одновременно, позволяя тренировать автопилот в ситуациях, которые практически невозможно набрать в реальности. На сегодня робомобили Waymo проехали около 200 млн автономных миль на дорогах, но параллельно проезжают миллиарды миль в виртуальных мирах.

Главное преимущество перед классическими симуляторами — знания Genie 3 о мире, полученные при предобучении на огромном массиве видео. Большинство отраслевых моделей для симуляции обучаются с нуля только на данных собственного автопарка. Waymo World Model, напротив, может генерировать сценарии, которых автомобили компании никогда не встречали: торнадо, наводнение, заснеженные тропические улицы, слон на дороге или пешеход в костюме тираннозавра.

Модель управляется тремя способами. Первый — действиями оператора: можно проиграть альтернативный сценарий и проверить, что было бы, если бы робомобиль не уступил, а проехал. Второй — компоновкой сцены: расстановка других машин, изменение разметки, состояния светофоров. Третий — текстовыми промптами: смена времени суток, погоды или генерация полностью синтетической сцены. При этом, в отличие от реконструктивных методов вроде 3D Gaussian Splatting, модель сохраняет реалистичность даже при сильном отклонении от оригинального маршрута.

Модель также умеет превращать обычное видео с видеорегистратора или смартфона в полноценную симуляцию с камерами со всех ракурсов и лидарным облаком точек — как если бы по той же дороге проехал робомобиль Waymo со всеми датчиками. Это позволяет тренировать автопилот на дорогах, где Waymo никогда не ездила,