Jiji Technology는 최근 월드 모델을 사용하여 4D 운전 장면 재구성 효과를 향상시키는 것을 목표로 하는 DriveDreamer4D 프레임워크를 출시했습니다. NeRF 및 3DGS와 같은 전통적인 방법은 많은 양의 훈련 데이터에 의존하며 복잡한 도로 조건을 처리할 때 제대로 작동하지 않습니다. DriveDreamer4D는 세계 모델과 새로운 궤적 생성 모듈(NTGM)을 도입하여 보다 다양한 훈련 데이터를 생성합니다. 이는 4D 장면 재구성의 정확성과 견고성을 크게 향상시켜 자율 주행 연구 개발에 새로운 혁신을 가져옵니다.
최근 Jiji Technology는 4D 운전 장면의 재구성 효과를 향상시키기 위해 세계 모델에 대한 사전 지식을 사용하는 것을 목표로 하는 DriveDreamer4D라는 새로운 프레임워크를 제안했습니다.
전통적인 4D 장면 재구성 방법은 주로 NeRF와 3DGS라는 두 가지 주요 학교에 의존합니다. NeRF는 신경망을 사용하여 여러 장의 사진을 3D 모델로 렌더링할 수 있는 슈퍼 화가와 같습니다. 3DGS는 다양한 3차원 가우스 함수를 사용하여 장면의 다양한 개체를 시뮬레이션합니다.
그러나 두 방법 모두 치명적인 약점이 있습니다. 훈련 데이터에 너무 많이 의존합니다. 예를 들어 자동차가 직선으로 주행하는 것을 본 적이 있는데 갑자기 모퉁이를 돌면 혼란스러울 것입니다. 따라서 차선 변경, 가속, 감속 등 복잡한 도로 상황에 직면할 때 전복되기 쉽습니다.
이 문제를 해결하기 위해 Jiji Technology는 이번에 큰 킬러인 DriveDreamer4D를 출시했습니다. 간단히 말해서 이것은 4D 장면 재구성을 위한 AI 플러그인, 즉 세계 모델입니다.
월드 모델은 기존 데이터를 기반으로 미래에 일어날 일을 예측할 수 있는 AI 두뇌로 이해할 수 있다. DriveDreamer4D는 세계 모델을 사용하여 다양하고 복잡한 도로 조건에서 새로운 시각 비디오 데이터를 생성합니다. 이는 4D 장면 재구성 모델에 "뇌 보충" 훈련 데이터를 공급하는 것과 동일하므로 정보가 잘 전달되고 더 이상 롤오버되지 않습니다.
더욱 놀라운 점은 DriveDreamer4D가 새로운 궤적 생성 모듈(NTGM)도 특별히 설계했다는 것입니다. 이 것은 차선 변경, 가속, 감속 등 교통 규칙을 준수하는 다양한 새로운 궤적을 자동으로 생성한 다음 월드 모델을 사용하여 해당 관점의 비디오를 생성할 수 있습니다. 이는 "예비 파트너"를 고용하는 것과 같습니다. 4D 장면 재구성 모델을 사용하면 다양하고 복잡한 도로 조건을 쉽게 처리할 수 있습니다.
실험 결과는 또한 DriveDreamer4D의 강점을 입증합니다. 복잡한 도로 상황을 처리할 때 재구성 효과가 기존 방법보다 훨씬 뛰어나고 생성된 이미지의 충실도가 더 높으며 차량 및 차선의 위치를 정확하게 복원할 수 있습니다.
전체적으로 DriveDreamer4D의 출현은 4D 장면 재구성 분야에서 핵폭탄을 투하하여 기술적 한계를 직접적으로 폭파시키는 것과 같습니다. 이를 통해 자율 주행에 대한 연구, 개발 및 테스트가 더욱 효율적이고 안전하며 신뢰할 수 있게 될 것입니다.
물론 DriveDreamer4D는 아직 연구 단계에 있으며 앞으로도 개선해야 할 부분이 많이 남아 있습니다. 하지만 기술이 계속 발전할수록 점점 더 강력해지고, 결국에는 자율주행 분야에서 없어서는 안 될 부분이 될 것이라고 믿습니다.
논문 주소: https://arxiv.org/pdf/2410.13571
프로젝트 홈페이지: https://drivedreamer4d.github.io/
코드 주소: https://github.com/GigaAI-research/DriveDreamer4D
Downcodes의 편집자는 DriveDreamer4D의 출현이 4D 장면 재구성 기술의 새로운 이정표가 되었다고 믿습니다. 자율 주행과 같은 분야에서의 적용 전망은 광범위하며 지속적인 관심과 기대를 받을 가치가 있습니다. 앞으로도 기술이 계속해서 성숙해짐에 따라 DriveDreamer4D가 더 큰 역할을 하게 될 것이라고 믿습니다.