DriveLM

Drivelm: การขับรถด้วย g raph v isual q uestion a nswering

Autonomous Driving Challenge 2024 กับกระดานผู้นำภาษา

drivelm_nus_demo_v2_1.mp4

ไฮไลท์

เรายกตัวอย่างชุดข้อมูล ( Drivelm-Data ) ที่สร้างขึ้นบน Nuscenes และ Carla และเสนอวิธีการพื้นฐานที่ใช้ VLM ( Drivelm-Agent ) สำหรับการแสดง กราฟ VQA และการขับขี่แบบ end-to-end

- Drivelm ทำหน้าที่เป็นแทร็กหลักใน CVPR 2024 Autonomous Driving Challenge ทุกสิ่งที่คุณต้องการสำหรับความท้าทายอยู่ที่นี่รวมถึงพื้นฐานการทดสอบข้อมูลและรูปแบบการส่งและไปป์ไลน์การประเมินผล!

ข่าว

• [2025/01/08] Drive-Bench Release! การวิเคราะห์เชิงลึกในสิ่งที่มีการเปรียบเทียบการเปรียบเทียบจริงๆ ดู arxiv
• [2024/07/16] Drivelm Official Leadyboard เปิดใหม่อีกครั้ง!
• [2024/07/01] Drivelm ได้รับการยอมรับจาก ECCV 2024! ขอแสดงความยินดีกับทีม!
• [2024/06/01] ความท้าทายสิ้นสุดลง! ดูลีดเดอร์บอร์ดสุดท้าย
• [2024/03/25] เซิร์ฟเวอร์ทดสอบความท้าทายออนไลน์และคำถามทดสอบจะถูกปล่อยออกมา Chekc มันออกมา!
• [2024/02/29] Challenge Repo Release รูปแบบพื้นฐานข้อมูลและการส่งไปป์ไลน์การประเมินผล มาดูกัน!
• [2023/08/25] การสาธิต Drivelm-Nuscenes ที่ปล่อยออกมา
• [2023/12/22] Drivelm-Nuscenes เต็ม v1.0 และกระดาษที่ปล่อยออกมา

สารบัญ

1. ไฮไลท์
2. เริ่มต้น
   • เตรียม Drivelm-Nuscenes
3. ความพยายามในปัจจุบันและขอบเขตในอนาคต
4. รายการสิ่งที่ต้องทำ
5. ดารา
   • การเปรียบเทียบและสถิติ
   • รายละเอียด GVQA
   • คำอธิบายประกอบและคุณสมบัติ
6. ใบอนุญาตและการอ้างอิง
7. ทรัพยากรอื่น ๆ

เริ่มต้น

เพื่อเริ่มต้นกับ Drivelm:

• เตรียม Drivelm-Nuscenes
• ท้าทาย DevKit
• เนื้อหาเพิ่มเติมเร็ว ๆ นี้

(กลับไปด้านบน)

ความพยายามในปัจจุบันและทิศทางในอนาคต

• การถือกำเนิดของแบบจำลองหลายรูปแบบ GPT ในแอพพลิเคชั่นในโลกแห่งความเป็นจริงกระตุ้นให้เกิดการศึกษาบทบาทของภาษาในการขับขี่
• วันที่ด้านล่างสะท้อนถึงวันที่ส่ง arxiv
• หากมีงานที่ขาดหายไปโปรดติดต่อเรา!

Drivelm พยายามที่จะจัดการกับความท้าทายบางอย่างที่ชุมชนต้องเผชิญ

• การขาดข้อมูล : Drivelm-Data ทำหน้าที่เป็นมาตรฐานที่ครอบคลุมสำหรับการขับขี่ด้วยภาษา
• ศูนย์รวม : GVQA ให้ทิศทางที่เป็นไปได้สำหรับการใช้งานที่เป็นตัวเป็นตนของ LLMS / VLMS
• วงปิด : Drivelm-Carla พยายามสำรวจการวางแผนวงปิดด้วยภาษา

(กลับไปด้านบน)

รายการสิ่งที่ต้องทำ

• ดารา
  • การขับเคลื่อน
  • ดิ้นรน-คาร์ล่า
• เครื่องโหว่
  • คะแนน GPT
• ตัวแทน
  • รหัสอนุมานบน Drivelm-Nuscenes
  • รหัสอนุมานบน Drivelm-Carla

(กลับไปด้านบน)

ดารา

เราอำนวยความสะดวก Perception, Prediction, Planning, Behavior, Motion ด้วยตรรกะการใช้เหตุผลที่เขียนโดยมนุษย์เป็นการเชื่อมต่อระหว่างพวกเขา เราเสนองานของ GVQA บน Drivelm-Data

การเปรียบเทียบและสถิติ

Drivelm-Data เป็นชุดข้อมูลการขับเคลื่อนภาษา แรก ที่อำนวยความสะดวกให้กับสแต็กเต็มรูปแบบของงานขับขี่ด้วยการพึ่งพาตรรกะแบบกราฟโครงสร้าง

ลิงก์ไปยังรายละเอียดเกี่ยวกับงาน GVQA คุณสมบัติชุดข้อมูลและคำอธิบายประกอบ

(กลับไปด้านบน)

ใบอนุญาตและการอ้างอิง

สินทรัพย์และรหัสทั้งหมดในที่เก็บนี้อยู่ภายใต้ใบอนุญาต Apache 2.0 เว้นแต่จะระบุไว้เป็นอย่างอื่น ข้อมูลภาษาอยู่ภายใต้ CC BY-NC-SA 4.0 ชุดข้อมูลอื่น ๆ (รวมถึง Nuscenes) สืบทอดใบอนุญาตการกระจายของตนเอง โปรดพิจารณาอ้างถึงบทความและโครงการของเราหากพวกเขาช่วยวิจัยของคุณ

 @article { sima2023drivelm ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { Sima, Chonghao and Renz, Katrin and Chitta, Kashyap and Chen, Li and Zhang, Hanxue and Xie, Chengen and Luo, Ping and Geiger, Andreas and Li, Hongyang } ,
  journal = { arXiv preprint arXiv:2312.14150 } ,
  year = { 2023 }
}

 @misc { contributors2023drivelmrepo ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { DriveLM contributors } ,
  howpublished = { url{https://github.com/OpenDriveLab/DriveLM} } ,
  year = { 2023 }
}

(กลับไปด้านบน)

ทรัพยากรอื่น ๆ

Opendrivelab

• Driveagi | Uniad | OpenLane-V2 | สำรวจ E2EAD
• สำรวจการรับรู้ของ BEV | Bevformer | Occnet

กลุ่มวิสัยทัศน์อิสระ

• Tuplan Garage | Carla Garage | สำรวจ E2EAD
• พืช | กษัตริย์ | Transfuser ประณีต

(กลับไปด้านบน)