Download DriveLM DriveLM

DriveLM

AI-Quellcode

1.0.0

Herunterladen

Treibstoff: Fahren mit G -Raph v Iual Q uestion a nwering

Autonomous Driving Challenge 2024 Fahren mit der Sprache .

dreenivalm_nus_demo_v2_1.mp4

Highlights

Wir instanziieren Datensätze ( TRAVILM-DATA ), die auf NuScenen und Carla basieren, und schlagen einen VLM-basierten Basisansatz ( TRAVILM-Agent ) für die gemeinsame Durchführung von Graph VQA und End-to-End-Fahren vor.

? Drachselement dient als Hauptstrecke in der CVPR 2024 Autonomous Driving Challenge . Alles, was Sie für die Herausforderung benötigen, ist hier, einschließlich Basis-, Testdaten- und Einreichungsformat und Bewertungspipeline!

Nachricht

[2025/01/08] Auffahrt-Bench-Veröffentlichung! Eingehende Analyse in dem Treibstoff wirklich Benchmarking. Schauen Sie sich Arxiv an.
[2024/07/16] Official Official Rangloungboard Reöffnung!
[2024/07/01] TRAVERME wurde an ECCV 2024 aufgenommen! Herzlichen Glückwunsch an das Team!
[2024/06/01] Die Herausforderung endete! Siehe die letzte Rangliste.
[2024/03/25] Challenge Test Server ist online und die Testfragen werden veröffentlicht. Chekc It Out!
[2024/02/29] Herausforderung Repo Release. Basis-, Daten- und Einreichungsformat, Bewertungspipeline. Schauen Sie sich an!
[2023/08/25] Die Demo der Dreh- und Angelpunkt-Nuscenes veröffentlicht.
[2023/12/22] TRAVERM-NUSCENES Full v1.0 und Papier veröffentlicht.

Inhaltsverzeichnis

Highlights
Erste Schritte
- Bereiten Sie die Treibstoff-Nuscene vor
Aktuelle Bemühungen und zukünftige Horizonte
TODO -Liste
Dreh- und Angelpunkt
- Vergleich und Statistiken
- GVQA -Details
- Annotation und Funktionen
Lizenz und Zitat
Andere Ressourcen

Erste Schritte

Um mit einem treiber zu beginnen:

Bereiten Sie die Treibstoff-Nuscene vor
Fordern Sie Devkit heraus
Weitere Inhalte kommen bald

(zurück nach oben)

Aktuelle Bemühungen und zukünftige Anweisungen

Das Aufkommen von multimodalen Modellen im GPT-Stil in realen Anwendungen motiviert die Untersuchung der Rolle der Sprache beim Fahren.
Das folgende Datum spiegelt das Arxiv -Einreichungsdatum wider.
Wenn es fehlende Arbeit gibt, wenden Sie sich bitte an uns!

Drehkristallversuche, um einige der Herausforderungen der Gemeinschaft zu begegnen.

Mangel an Daten : Dreh- und Angelpunkt-Daten dient als umfassender Benchmark für das Fahren mit Sprache.
Verkörperung : GVQA bietet eine potenzielle Richtung für verkörperte Anwendungen von LLMs / VLMs.
Closed-Loop : Dreh- und Angelpunkt-Carla versucht, die Planung mit geschlossener Schleife mit Sprache zu erkunden.

(zurück nach oben)

TODO -Liste

(zurück nach oben)

Dreh- und Angelpunkt

Wir erleichtern die Perception, Prediction, Planning, Behavior, Motion mit menschlich geschriebener Argumentationslogik als Verbindung zwischen ihnen. Wir schlagen die Aufgabe von GVQA auf der Treibstoffdaten vor.

Vergleich und Statistiken

TreVerm-Data ist der erste Sprachantriebsdatensatz, der den vollständigen Stapel von Fahraufgaben mit graphgestrukturierten logischen Abhängigkeiten erleichtert.

Links zu Details zu GVQA -Task, Datensatzfunktionen und Annotation.

(zurück nach oben)

Lizenz und Zitat

Alle Vermögenswerte und Code in diesem Repository befinden sich unter der Apache 2.0 -Lizenz, sofern nicht anders angegeben. Die Sprachdaten erfolgen unter CC BY-NC-SA 4.0. Andere Datensätze (einschließlich NuScene) erben ihre eigenen Verteilungslizenzen. Bitte erwägen Sie, unser Papier und unser Projekt zu zitieren, wenn sie Ihre Recherche helfen.

 @article { sima2023drivelm ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { Sima, Chonghao and Renz, Katrin and Chitta, Kashyap and Chen, Li and Zhang, Hanxue and Xie, Chengen and Luo, Ping and Geiger, Andreas and Li, Hongyang } ,
  journal = { arXiv preprint arXiv:2312.14150 } ,
  year = { 2023 }
}

 @misc { contributors2023drivelmrepo ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { DriveLM contributors } ,
  howpublished = { url{https://github.com/OpenDriveLab/DriveLM} } ,
  year = { 2023 }
}