Jiji Technology lanzó recientemente el marco DriveDreamer4D, cuyo objetivo es utilizar el modelo mundial para mejorar el efecto de reconstrucción de la escena de conducción en 4D. Los métodos tradicionales como NeRF y 3DGS dependen de una gran cantidad de datos de entrenamiento y funcionan mal cuando se enfrentan a condiciones complejas de la carretera. DriveDreamer4D genera datos de entrenamiento más diversos al introducir un modelo mundial y un nuevo módulo de generación de trayectoria (NTGM), que mejora significativamente la precisión y solidez de la reconstrucción de escenas 4D, aportando nuevos avances a la investigación y el desarrollo de la conducción autónoma.
Recientemente, Jiji Technology propuso un nuevo marco llamado DriveDreamer4D, cuyo objetivo es utilizar el conocimiento previo del modelo mundial para mejorar el efecto de reconstrucción de escenas de conducción en 4D.
Los métodos tradicionales de reconstrucción de escenas 4D se basan principalmente en las dos escuelas principales de NeRF y 3DGS. NeRF es como un súper pintor que puede usar redes neuronales para representar un montón de fotografías en un modelo 3D. 3DGS utiliza un montón de funciones gaussianas tridimensionales para simular varios objetos en la escena.
Pero ambos métodos tienen una debilidad fatal: dependen demasiado de los datos de entrenamiento. Por ejemplo, si solo has visto autos conduciendo en línea recta y de repente se desvían en una esquina, ¡te confundirás! Por lo tanto, son propensos a volcarse cuando se enfrentan a condiciones complejas de la carretera, como cambiar de carril, acelerar y desacelerar.
Para resolver este problema, Jiji Technology ha lanzado esta vez un gran asesino: DriveDreamer4D. En pocas palabras, se trata de un complemento de IA para la reconstrucción de escenas 4D: un modelo mundial.
Puede entender el modelo mundial como un cerebro de IA que puede predecir lo que puede suceder en el futuro basándose en los datos existentes. DriveDreamer4D utiliza el modelo mundial para generar nuevos datos de video en perspectiva en diversas condiciones complejas de la carretera, lo que equivale a alimentar el modelo de reconstrucción de escena 4D con datos de entrenamiento de "suplemento cerebral", para que esté bien informado y ya no se vuelque.
Lo que es aún más sorprendente es que DriveDreamer4D también diseñó especialmente un nuevo módulo de generación de trayectoria (NTGM). Esta cosa puede generar automáticamente varias trayectorias nuevas que cumplan con las reglas de tránsito, como cambios de carril, aceleración, desaceleración, etc., y luego usar el modelo mundial para generar videos de la perspectiva correspondiente, lo que equivale a contratar un "socio ahorrador". para el modelo de reconstrucción de escenas 4D, lo que le permite manejar diversas condiciones complejas de la carretera con facilidad.
Los resultados experimentales también demuestran la fortaleza de DriveDreamer4D. Cuando se trata de condiciones complejas de la carretera, su efecto de reconstrucción es significativamente mejor que el de los métodos tradicionales, la fidelidad de las imágenes generadas es mayor y las posiciones de los vehículos y las líneas de los carriles se pueden restaurar con precisión.
Con todo, la aparición de DriveDreamer4D es como lanzar una bomba nuclear en el campo de la reconstrucción de escenas 4D, haciendo estallar directamente el techo técnico. Con él, la investigación, el desarrollo y las pruebas de la conducción autónoma serán más eficientes, seguros y fiables.
Por supuesto, DriveDreamer4D todavía se encuentra en la etapa de investigación y todavía quedan muchas áreas de mejora en el futuro. Pero creo que a medida que la tecnología continúe desarrollándose, se volverá cada vez más poderosa y eventualmente se convertirá en una parte indispensable del campo de la conducción autónoma.
Dirección del artículo: https://arxiv.org/pdf/2410.13571
Página de inicio del proyecto: https://drivedreamer4d.github.io/
Dirección del código: https://github.com/GigaAI-research/DriveDreamer4D
El editor de Downcodes cree que la aparición de DriveDreamer4D marca un nuevo hito en la tecnología de reconstrucción de escenas 4D. Sus perspectivas de aplicación en campos como la conducción autónoma son amplias y dignas de atención y anticipación continuas. En el futuro, a medida que la tecnología siga madurando, creo que DriveDreamer4D desempeñará un papel más importante.