极佳科技近日发布了DriveDreamer4D框架,旨在利用世界模型提升4D驾驶场景重建效果。传统方法如NeRF和3DGS依赖大量训练数据,在处理复杂路况时表现欠佳。 DriveDreamer4D则通过引入世界模型和新轨迹生成模块(NTGM),生成更多样化的训练数据,显着提升了4D场景重建的精度和鲁棒性,为自动驾驶研发带来了新的突破。
近日,极佳科技提出了一种名为DriveDreamer4D 的全新框架,旨在利用世界模型的先验知识来提升4D 驾驶场景的重建效果。
传统的4D 场景重建方法,主要依赖于NeRF 和3DGS 这两大流派。 NeRF 就好比一个超级画家,它能用神经网络,把一堆照片渲染成一个3D 模型。而3DGS 则是用一堆三维高斯函数,来模拟场景中的各种物体。

但这两种方法都有个致命弱点:太依赖训练数据了!就好比,你只见过直线行驶的汽车,突然来个漂移过弯,你就懵逼了。所以,在面对复杂路况,比如变道、加速、减速的时候,它们就容易翻车。
为了解决这个问题,极佳科技这次祭出了一个大杀器——DriveDreamer4D。这玩意儿,简单来说,就是给4D 场景重建加了个AI 外挂——世界模型。

世界模型,你可以理解成一个AI 大脑,它能根据已有的数据,预测未来可能发生的情况。 DriveDreamer4D 就是利用世界模型,来生成各种复杂路况下的新视角视频数据,相当于给4D 场景重建模型喂了“脑补”的训练数据,让它见多识广,不再翻车。
更牛逼的是,DriveDreamer4D 还专门设计了一个新轨迹生成模块(NTGM)。这玩意儿,能自动生成各种符合交通规则的新轨迹,比如变道、加速、减速等等,然后用世界模型生成对应视角的视频,相当于给4D 场景重建模型请了个“陪练”,让它在各种复杂路况下都能游刃有余。
实验结果也证明了DriveDreamer4D 的实力。在处理复杂路况时,它的重建效果明显优于传统方法,生成图像的保真度更高,而且还能准确地还原车辆和车道线的位置。
总而言之,DriveDreamer4D 的出现,就像是在4D 场景重建领域扔了一颗核弹,直接炸开了技术的天花板。有了它,自动驾驶的研发和测试,将会更加高效、安全和可靠。
当然,DriveDreamer4D 目前还处于研究阶段,未来还有很多可以改进的地方。但我相信,随着技术的不断发展,它将会越来越强大,最终成为自动驾驶领域不可或缺的一部分。
论文地址:https://arxiv.org/pdf/2410.13571
项目主页:https://drivedreamer4d.github.io/
代码地址:https://github.com/GigaAI-research/DriveDreamer4D
Downcodes小编认为,DriveDreamer4D的出现,标志着4D场景重建技术迈向了新的里程碑,其在自动驾驶等领域的应用前景广阔,值得持续关注和期待。未来,随着技术的不断成熟,相信DriveDreamer4D将会发挥更大的作用。