Jiji Technology hat kürzlich das DriveDreamer4D-Framework veröffentlicht, das darauf abzielt, mithilfe des Weltmodells den 4D-Rekonstruktionseffekt von Fahrszenen zu verbessern. Herkömmliche Methoden wie NeRF und 3DGS basieren auf einer großen Menge an Trainingsdaten und sind bei der Bewältigung komplexer Straßenbedingungen nur unzureichend leistungsfähig. DriveDreamer4D generiert vielfältigere Trainingsdaten durch die Einführung eines Weltmodells und eines neuen Moduls zur Trajektorienerzeugung (NTGM), das die Genauigkeit und Robustheit der 4D-Szenenrekonstruktion erheblich verbessert und neue Durchbrüche in der Forschung und Entwicklung des autonomen Fahrens bringt.
Kürzlich hat Jiji Technology ein neues Framework namens DriveDreamer4D vorgeschlagen, das darauf abzielt, Vorkenntnisse des Weltmodells zu nutzen, um den Rekonstruktionseffekt von 4D-Fahrszenen zu verbessern.
Herkömmliche 4D-Szenenrekonstruktionsmethoden basieren hauptsächlich auf den beiden großen Schulen NeRF und 3DGS. NeRF ist wie ein Supermaler, der mithilfe neuronaler Netze eine Reihe von Fotos in ein 3D-Modell rendern kann. 3DGS verwendet eine Reihe dreidimensionaler Gaußscher Funktionen, um verschiedene Objekte in der Szene zu simulieren.
Aber beide Methoden haben eine fatale Schwäche: Sie verlassen sich zu sehr auf Trainingsdaten. Wenn Sie beispielsweise nur geradeaus fahrende Autos gesehen haben und diese plötzlich um eine Kurve driften, sind Sie verwirrt. Daher neigen sie bei komplexen Straßenverhältnissen wie Spurwechsel, Beschleunigen und Abbremsen zum Überschlagen.
Um dieses Problem zu lösen, hat Jiji Technology dieses Mal einen großen Killer auf den Markt gebracht – DriveDreamer4D. Einfach ausgedrückt handelt es sich bei diesem Ding um ein KI-Plug-in für die 4D-Szenenrekonstruktion – ein Weltmodell.
Sie können das Weltmodell als ein KI-Gehirn verstehen, das anhand vorhandener Daten vorhersagen kann, was in der Zukunft passieren könnte. DriveDreamer4D verwendet das Weltmodell, um unter verschiedenen komplexen Straßenbedingungen neue perspektivische Videodaten zu generieren. Dies entspricht der Fütterung des 4D-Szenenrekonstruktionsmodells mit Trainingsdaten „Gehirnergänzung“, sodass es gut informiert ist und nicht mehr überschlägt.
Was noch erstaunlicher ist, ist, dass DriveDreamer4D auch speziell ein neues Trajectory Generation Module (NTGM) entwickelt hat. Dieses Ding kann automatisch verschiedene neue Trajektorien generieren, die den Verkehrsregeln entsprechen, wie Spurwechsel, Beschleunigung, Verzögerung usw., und dann das Weltmodell verwenden, um Videos der entsprechenden Perspektive zu generieren, was der Einstellung eines „Sparing-Partners“ gleichkommt. für das 4D-Szenenrekonstruktionsmodell, wodurch verschiedene komplexe Straßenbedingungen problemlos bewältigt werden können.
Auch die experimentellen Ergebnisse belegen die Stärke von DriveDreamer4D. Bei komplexen Straßenverhältnissen ist der Rekonstruktionseffekt deutlich besser als bei herkömmlichen Methoden, die Genauigkeit der erzeugten Bilder ist höher und die Positionen von Fahrzeugen und Fahrspurlinien können genau wiederhergestellt werden.
Alles in allem ist das Aufkommen von DriveDreamer4D wie der Abwurf einer Atombombe im Bereich der 4D-Szenenrekonstruktion, die direkt die technischen Grenzen sprengt. Damit wird die Forschung, Entwicklung und Erprobung des autonomen Fahrens effizienter, sicherer und zuverlässiger.
Natürlich befindet sich DriveDreamer4D noch im Forschungsstadium und es gibt noch viele Bereiche für Verbesserungen in der Zukunft. Aber ich glaube, dass die Technologie mit der Weiterentwicklung immer leistungsfähiger und schließlich zu einem unverzichtbaren Bestandteil des autonomen Fahrbereichs werden wird.
Papieradresse: https://arxiv.org/pdf/2410.13571
Projekthomepage: https://drivedreamer4d.github.io/
Codeadresse: https://github.com/GigaAI-research/DriveDreamer4D
Der Herausgeber von Downcodes ist davon überzeugt, dass das Aufkommen von DriveDreamer4D einen neuen Meilenstein in der 4D-Szenenrekonstruktionstechnologie darstellt. Seine Anwendungsaussichten in Bereichen wie dem autonomen Fahren sind vielfältig und verdienen anhaltende Aufmerksamkeit und Vorfreude. Ich glaube, dass DriveDreamer4D in Zukunft mit zunehmender Weiterentwicklung der Technologie eine größere Rolle spielen wird.