DriveLM

Drivelm: القيادة مع G raph v isual q uestion a nswering

Autonomous Driving Challenge 2024 المتصدرين في القيادة مع اللغة .

drivelm_nus_demo_v2_1.mp4

أبرز

نحن نؤسس مجموعات البيانات ( drivelm-data ) التي تم بناؤها على nuscenes و carla ، ونقترح نهج خط الأساس القائم على VLM ( DriveLm-Agent ) لأداء مشترك VQA والقيادة من طرف إلى طرف.

؟ يعمل DriveLm كمسار رئيسي في CVPR 2024 Autonomous Driving Challenge . كل ما تحتاجه للتحدي هو هنا ، بما في ذلك خط الأساس وبيانات الاختبار وتنسيق التقديم وخط أنابيب التقييم!

أخبار

• [2025/01/08] إصدار محرك-BECK! تحليل متعمق في ما هي القياس القياسي حقًا. ألق نظرة على Arxiv.
• [2024/07/16] إعادة فتح المتصدرين الرسميين!
• [2024/07/01] تم قبول Drivelm إلى ECCV 2024! مبروك للفريق!
• [2024/06/01] انتهى التحدي! انظر المتصدرين النهائي.
• [2024/03/25] خادم اختبار التحدي هو عبر الإنترنت ويتم إصدار أسئلة الاختبار. Chekc ذلك!
• [2024/02/29] تحدي إطلاق الريبو. خط الأساس والبيانات وتنسيق التقديم ، خط أنابيب التقييم. إلقاء نظرة!
• [2023/08/25] تم إصدار Drivelm-Nuscenes Demo.
• [2023/12/22] Drivelm-Nuscenes Full v1.0 و Paper.

جدول المحتويات

1. أبرز
2. ابدء
   • إعداد drivelm-nuscenes
3. المساعي الحالية والآفاق المستقبلية
4. قائمة TODO
5. drivelm-data
   • المقارنة والإحصائيات
   • تفاصيل GVQA
   • التعليقات التوضيحية والميزات
6. الترخيص والاستشهاد
7. موارد أخرى

ابدء

للبدء مع drivelm:

• إعداد drivelm-nuscenes
• تحدي Devkit
• المزيد من المحتوى قريبا

(العودة إلى الأعلى)

المساعي الحالية والاتجاهات المستقبلية

• إن ظهور النماذج متعددة الوسائط على غرار GPT في التطبيقات الواقعية يحفز دراسة دور اللغة في القيادة.
• يعكس التاريخ أدناه تاريخ تقديم Arxiv.
• إذا كان هناك أي عمل مفقود ، فيرجى التواصل معنا!

يحاول Drivelm معالجة بعض التحديات التي يواجهها المجتمع.

• نقص البيانات : DriveLm-Data بمثابة معيار شامل للقيادة مع اللغة.
• تجسيد : يوفر GVQA اتجاهًا محتملاً للتطبيقات المجسدة لـ LLMS / VLMs.
• حلقة مغلقة : يحاول Drivelm-Carla استكشاف تخطيط الحلقة المغلقة مع اللغة.

(العودة إلى الأعلى)

قائمة TODO

• drivelm-data
  • drivelm-nuscenes
  • Drivelm-Carla
• drivelm-metrics
  • GPT-Score
• Drivelm-Agent
  • رمز الاستدلال على drivelm-nuscenes
  • رمز الاستدلال على drivelm-carla

(العودة إلى الأعلى)

drivelm-data

نحن نسهل Perception, Prediction, Planning, Behavior, Motion مع منطق التفكير المكتوب على الإنسان كعلاقة بينهما. نقترح مهمة GVQA على drivelm-data.

المقارنة والإحصائيات

Drivelm-Data هي أول مجموعة بيانات تقرّحة اللغة تسهل المجموعة الكاملة من مهام القيادة مع تبعيات منطقية منظمة للرسم البياني.

روابط إلى تفاصيل حول مهمة GVQA وميزات مجموعة البيانات والشرح.

(العودة إلى الأعلى)

الترخيص والاستشهاد

جميع الأصول والرمز في هذا المستودع تخضع لترخيص Apache 2.0 ما لم ينص على خلاف ذلك. بيانات اللغة تحت CC BY-NC-SA 4.0. ترث مجموعات البيانات الأخرى (بما في ذلك nuscenes) تراخيص التوزيع الخاصة بها. يرجى التفكير في الاستشهاد الورقي والمشروع إذا كانوا يساعدون في بحثك.

 @article { sima2023drivelm ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { Sima, Chonghao and Renz, Katrin and Chitta, Kashyap and Chen, Li and Zhang, Hanxue and Xie, Chengen and Luo, Ping and Geiger, Andreas and Li, Hongyang } ,
  journal = { arXiv preprint arXiv:2312.14150 } ,
  year = { 2023 }
}

 @misc { contributors2023drivelmrepo ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { DriveLM contributors } ,
  howpublished = { url{https://github.com/OpenDriveLab/DriveLM} } ,
  year = { 2023 }
}

(العودة إلى الأعلى)

موارد أخرى

opendrivelab

• Driveagi | UNIAD | Openlane-V2 | مسح على e2ead
• مسح على تصور بيف | Bevformer | occnet

مجموعة الرؤية المستقلة

• Tuplan Garage | كارلا المرآب | مسح على e2ead
• نبات | الملك | ناقل | مرتب

(العودة إلى الأعلى)