Jiji Technology недавно выпустила платформу DriveDreamer4D, целью которой является использование модели мира для улучшения эффекта реконструкции сцены вождения в 4D. Традиционные методы, такие как NeRF и 3DGS, полагаются на большой объем обучающих данных и плохо работают в сложных дорожных условиях. DriveDreamer4D генерирует более разнообразные данные обучения, представляя модель мира и новый модуль генерации траектории (NTGM), который значительно повышает точность и надежность реконструкции 4D-сцены, открывая новые прорывы в исследованиях и разработках в области автономного вождения.
Недавно компания Jiji Technology предложила новую платформу под названием DriveDreamer4D, целью которой является использование предшествующих знаний о модели мира для улучшения эффекта реконструкции 4D-сцен вождения.
Традиционные методы реконструкции 4D-сцен в основном опираются на две основные школы: NeRF и 3DGS. NeRF похож на суперхудожника, который может использовать нейронные сети для преобразования множества фотографий в 3D-модель. 3DGS использует набор трехмерных функций Гаусса для моделирования различных объектов на сцене.
Но у обоих методов есть фатальная слабость: они слишком полагаются на обучающие данные. Например, если вы видели только машины, едущие по прямой, и вдруг они заносились за угол, вы запутаетесь! Поэтому они склонны к опрокидыванию при столкновении со сложными дорожными условиями, такими как смена полосы движения, ускорение и замедление.
Чтобы решить эту проблему, Jiji Technology на этот раз выпустила убийцу — DriveDreamer4D. Проще говоря, эта штука представляет собой AI-плагин для реконструкции 4D-сцены — модели мира.
Вы можете понять модель мира как мозг искусственного интеллекта, который может предсказать, что может произойти в будущем, на основе существующих данных. DriveDreamer4D использует модель мира для создания новых перспективных видеоданных в различных сложных дорожных условиях, что эквивалентно передаче в модель реконструкции 4D-сцены обучающих данных «дополнения мозга», чтобы она была хорошо информирована и больше не переворачивалась.
Еще более удивительно то, что DriveDreamer4D также специально разработал новый модуль генерации траектории (NTGM). Эта штука может автоматически генерировать различные новые траектории, соответствующие правилам дорожного движения, такие как смена полосы движения, ускорение, замедление и т. д., а затем использовать модель мира для создания видеороликов соответствующего ракурса, что эквивалентно найму «запасного партнера». для модели реконструкции 4D-сцены, позволяющей легко справляться с различными сложными дорожными условиями.
Результаты экспериментов также доказывают силу DriveDreamer4D. При работе со сложными дорожными условиями эффект реконструкции значительно лучше, чем у традиционных методов, точность создаваемых изображений выше, а положение транспортных средств и линий полосы движения можно точно восстановить.
В общем, появление DriveDreamer4D — это как сброс ядерной бомбы в области реконструкции 4D-сцен, прямо взорвавший технический потолок. Благодаря этому исследования, разработки и испытания автономного вождения станут более эффективными, безопасными и надежными.
Конечно, DriveDreamer4D все еще находится на стадии исследования, и в будущем еще есть много областей для улучшения. Но я верю, что по мере дальнейшего развития технологий они будут становиться все более и более мощными и в конечном итоге станут незаменимой частью области автономного вождения.
Адрес статьи: https://arxiv.org/pdf/2410.13571.
Домашняя страница проекта: https://driver4d.github.io/
Адрес кода: https://github.com/GigaAI-research/DriveDreamer4D
Редактор Downcodes считает, что появление DriveDreamer4D знаменует собой новую веху в технологии реконструкции 4D-сцен. Перспективы ее применения в таких областях, как автономное вождение, широки и заслуживают постоянного внимания и ожидания. Я считаю, что в будущем, по мере развития технологии, DriveDreamer4D будет играть более важную роль.