DriveLM

DRIVELM: езда с G RAPH V Isual Question A Nswering

Autonomous Driving Challenge 2024 с лидерами на языке .

DRIVELM_NUS_DEMO_V2_1.MP4

Основные моменты

Мы создаем экземпляры наборов данных ( DRIVELM-DATA ), построенных на Nuscenes и Carla, и предлагаем базовый подход на основе VLM ( Drivelm-Agent ) для совместного выполнения графика VQA и сквозного вождения.

? Drivelm служит основной дорожкой в CVPR 2024 Autonomous Driving Challenge . Все, что вам нужно для задания, здесь, включая базовый уровень, данные тестирования и формат отправки и конвейер оценки!

Новости

• [2025/01/08] Выпуск Drive-Bench! Углубленный анализ в том, что является Drivelm, действительно сравнивает. Взгляните на Arxiv.
• [2024/07/16] Официальная таблица лидеров Drivelm вновь открыт!
• [2024/07/01] DRIVELM был принят в ECCV 2024! Поздравляю команду!
• [2024/06/01] Вызов закончился! Смотрите окончательный таблицу лидеров.
• [2024/03/25] Тестовый сервер задачи онлайн, а вопросы тестирования выпущены. Chekc это!
• [2024/02/29] Выпуск репо. Базовый уровень, данные и формат представления, конвейер оценки. Посмотри!
• [2023/08/25] выпущена демо-демоверсина-nuscenes.
• [2023/12/22] Drivelm-Nuscenes Full v1.0 и выпущенная бумага.

Оглавление

1. Основные моменты
2. Начиная
   • Приготовьте Drivelm-Nuscenes
3. Текущие усилия и будущие горизонты
4. Список Тодо
5. DRIVELM-DATA
   • Сравнение и статистика
   • GVQA детали
   • Аннотация и функции
6. Лицензия и цитата
7. Другие ресурсы

Начиная

Чтобы начать с Drivelm:

• Приготовьте Drivelm-Nuscenes
• Вызов Девкит
• Скоро появится больше контента

(Вернуться к вершине)

Текущие усилия и будущие направления

• Появление мультимодальных моделей в стиле GPT в реальных приложениях мотивирует изучение роли языка в вождении.
• Дата ниже отражает дату подачи ARXIV.
• Если есть какая -то пропущенная работа, пожалуйста, обратитесь к нам!

Drivelm пытается решить некоторые проблемы, с которыми сталкиваются сообщество.

• Отсутствие данных : Drivelm-Data служит комплексным эталоном для вождения с языком.
• Воплощение : GVQA обеспечивает потенциальное направление для воплощенных применений LLMS / VLMS.
• Закрытая петля : Drivelm-Carla пытается исследовать планирование с закрытым контуром с языком.

(Вернуться к вершине)

Список Тодо

• DRIVELM-DATA
  • DRIVELM-NUSCENES
  • DRIVELM-CARLA
• DRIVELM-METRICS
  • GPT-Score
• DRIVELM-AGENT
  • Код вывода на Drivelm-Nuscenes
  • Код вывода на Drivelm-carla

(Вернуться к вершине)

DRIVELM-DATA

Мы облегчаем Perception, Prediction, Planning, Behavior, Motion с помощью логики рассуждений, написанной человеком как связи между ними. Мы предлагаем задачу GVQA на DIVELM-DATA.

Сравнение и статистика

DRIVELM-DATA -это набор данных из первого языка, облегчающий полную стопку задач вождения с логическими зависимостями структурированных графов.

Ссылки на подробности о задаче GVQA, функциях набора данных и аннотации.

(Вернуться к вершине)

Лицензия и цитата

Все активы и код в этом репозитории находятся под лицензией Apache 2.0, если не указано иное. Языковые данные находятся под CC By-NC-SA 4.0. Другие наборы данных (включая Nuscenes) наследуют свои собственные лицензии на распределение. Пожалуйста, рассмотрите возможность ссылаться на нашу газету и проект, если они помогают вашему исследованию.

 @article { sima2023drivelm ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { Sima, Chonghao and Renz, Katrin and Chitta, Kashyap and Chen, Li and Zhang, Hanxue and Xie, Chengen and Luo, Ping and Geiger, Andreas and Li, Hongyang } ,
  journal = { arXiv preprint arXiv:2312.14150 } ,
  year = { 2023 }
}

 @misc { contributors2023drivelmrepo ,
  title = { DriveLM: Driving with Graph Visual Question Answering } ,
  author = { DriveLM contributors } ,
  howpublished = { url{https://github.com/OpenDriveLab/DriveLM} } ,
  year = { 2023 }
}

(Вернуться к вершине)

Другие ресурсы

OpendRivelab

• DriveAgi | Uniad | Openlane-V2 | Опрос на E2AD
• Опрос о восприятии Бев | Bevformer | Occnet

Автономная группа зрения

• Tuplan Garage | Карла Гараж | Опрос на E2AD
• Растение | Король | Перевод | АККУРАТНЫЙ

(Вернуться к вершине)