Beranda>Terkait pemrograman>ular piton
Unduh

OpenPCDET

OpenPCDet adalah proyek open source yang jelas, sederhana, mandiri untuk deteksi objek 3D berbasis LIDAR.

Ini juga merupakan rilis kode resmi [PointRCNN] , [Part-A2-Net] , [PV-RCNN] , [Voxel R-CNN] , [PV-RCNN++] dan [MPPNet] .

Sorotan :

  • OpenPCDet telah diperbarui ke v0.6.0 (September 2022).
  • Kode PV-RCNN ++ telah didukung.
  • Kode MPPNet telah didukung.
  • Pendekatan deteksi 3D multi-modal pada nuscene telah didukung.

Ringkasan

  • Changelog
  • Pola desain
  • Model Zoo
  • Instalasi
  • Demo cepat
  • Memulai
  • Kutipan

Changelog

[2023-06-30] BARU: Dukungan tambahan untuk DSVT , yang mencapai kinerja canggih pada dataset Waymo Open skala besar dengan kecepatan inferensi real-time (27Hz dengan Tensorrt).

[2023-05-13] Baru: Dukungan tambahan untuk model deteksi objek 3D multi-modal pada dataset nuscenes.

  • Mendukung deteksi nuscenes multi-modal (lihat Geting_Started.md untuk memproses data).
  • Dukung kepala transfusi-lidar, yang Ahcieves 69,43% NDS pada dataset validasi nuscenes.
  • Dukung BEVFusion , yang memadukan informasi multi-modal tentang ruang BEV dan mencapai 70,98% NDS pada dataset validasi nuscenes. (Lihat pedoman tentang cara melatih/menguji dengan bevfusion).

[2023-04-02] menambahkan dukungan untuk VoxelNeXt pada nuscenes, waymo, dan dataset Argoverse2. Ini adalah jaringan deteksi objek 3D yang sepenuhnya jarang, yang merupakan jaringan CNNs jarang yang bersih dan memprediksi objek 3D secara langsung pada voxel.

[2022-09-02] BARU: Perbarui OpenPCDet ke V0.6.0:

  • Rilis kode resmi MPPNet untuk deteksi objek 3D temporal, yang mendukung deteksi objek 3D multi-frame jangka panjang dan menempati urutan pertama pada deteksi 3D learderboard dari dataset Waymo Open pada 2 September, 2022. Untuk dataset validasi, MPPNET mencapai 74,96%, 75,06% dan 74.52, 74.52, KEDUA KEDUA, MPPNET mencapai 74.96%, 74.06% dan 74.52, KEDURIAN, MPPNET, MPPNET mencapai 74.96%, 75.06% dan 74.52. (Lihat pedoman tentang cara melatih/menguji dengan MPPNet).
  • Dukung pelatihan/pengujian multi-bingkai pada Waymo Open Dataset (lihat Log Ubah untuk detail lebih lanjut tentang cara memproses data).
  • Dukungan untuk menyimpan detail pelatihan yang berubah (misalnya, kehilangan, iter, zaman) untuk mengajukan (bilah kemajuan TQDM sebelumnya masih didukung dengan menggunakan --use_tqdm_to_record ). Silakan gunakan pip install gpustat jika Anda juga ingin mencatat informasi terkait GPU.
  • Dukungan untuk menyimpan model terbaru setiap 5 mintues, sehingga Anda dapat mengembalikan pelatihan model dari status terbaru alih -alih zaman sebelumnya.

[2022-08-22] Menambahkan dukungan untuk tutorial dan template dataset khusus

[2022-07-05] Menambahkan dukungan untuk Deteksi Objek 3D Focals Network Focals Conv .

[2022-02-12] Menambahkan dukungan untuk menggunakan Docker. Silakan merujuk ke panduan di ./docker.

[2022-02-07] Menambahkan dukungan untuk model CenterPoint pada dataset Nuscenes.

[2022-01-14] Menambahkan dukungan untuk voxelisasi pilar dinamis, mengikuti implementasi yang diusulkan dalam H^23D R-CNN dengan operasi unik dan paket torch_scatter .

[2022-01-05] BARU: Perbarui OpenPCDet ke V0.5.2:

  • Kode PV-RCNN++ telah dirilis ke repo ini, dengan kinerja yang lebih tinggi, kecepatan pelatihan/inferensi lebih cepat dan lebih sedikit konsumsi memori daripada PV-RCNN.
  • Tambahkan kinerja beberapa model yang dilatih dengan set pelatihan penuh Waymo Open Dataset.
  • Dukung dataset Lyft, lihat permintaan tarik di sini.

[2021-12-09] BARU: Perbarui OpenPCDet ke V0.5.1:

  • Tambahkan Konfigurasi/Hasil Baseline Terkait PointPillar di Waymo Open Dataset.
  • Dukung PandaSet Dataloader, lihat permintaan tarik di sini.
  • Dukung serangkaian augmentasi baru, lihat permintaan tarik di sini.

[2021-12-01] BARU: OpenPCDet V0.5.0 dirilis dengan fitur-fitur berikut:

  • Tingkatkan kinerja semua model di Waymo Open Dataset. Perhatikan bahwa Anda perlu persiapan ulang data pelatihan/validasi dan database dasbase-kebenaran tanah dari Waymo Open Dataset (lihat Geting_Started.md).
  • Dukung jangkar bebas centerhead, tambahkan konfigurasi CenterPoint dan PV-RCNN with CenterHead .
  • Dukung Pytorch 1.1 ~ 1.10 dan SPCONV 1.0 ~ 2.x terakhir, di mana SPCONV 2.x harus mudah diinstal dengan PIP dan lebih cepat dari versi sebelumnya (lihat pembaruan resmi SPCONV di sini).
  • Dukungan config USE_SHARED_MEMORY untuk menggunakan memori bersama untuk berpotensi mempercepat proses pelatihan jika Anda menderita masalah IO.
  • Dukung skrip visualisasi yang lebih baik dan lebih cepat, dan Anda perlu menginstal Open3D pertama.

[2021-06-08] Menambahkan dukungan untuk model deteksi objek 3D berbasis voxel Voxel R-CNN .

[2021-05-14] Menambahkan dukungan untuk model deteksi objek 3D monokular CaDDN .

[2020-11-27] BUGFIXED: Silakan persiapkan kembali info validasi Waymo Dataset (versi 1.2) jika Anda ingin menggunakan alat evaluasi WayMo yang disediakan (lihat PR). Perhatikan bahwa Anda tidak perlu mendapatkan persiapan ulang data pelatihan dan database darat.

[2020-11-10] Waymo Open Dataset telah didukung dengan hasil canggih. Saat ini kami menyediakan konfigurasi dan hasil dari SECOND , PartA2 dan PV-RCNN di Waymo Open Dataset, dan lebih banyak model dapat dengan mudah didukung dengan memodifikasi konfigurasi dataset mereka.

[2020-08-10] BUGFIXED: Model Nuscenes yang disediakan telah diperbarui untuk memperbaiki bug pemuatan. Harap redownload jika Anda perlu menggunakan model nuscenes pretrained.

[2020-07-30] OpenPCDet V0.3.0 dirilis dengan fitur-fitur berikut:

  • Model berbasis titik dan bebas jangkar ( PointRCNN , PartA2-Free ) didukung sekarang.
  • Dataset Nuscenes didukung dengan hasil baseline yang kuat ( SECOND-MultiHead (CBGS) dan PointPillar-MultiHead ).
  • Efisiensi tinggi dari versi terakhir, mendukung Pytorch 1.1 ~ 1.7 dan SPCONV 1.0 ~ 1.2 secara bersamaan.

[2020-07-17] Tambahkan kode visualisasi sederhana dan demo cepat untuk diuji dengan data khusus.

[2020-06-24] OpenPCDet V0.2.0 dirilis dengan struktur yang cukup baru untuk mendukung lebih banyak model dan set data.

[2020-03-16] OpenPCDet V0.1.0 dirilis.

Perkenalan

Apa yang dilakukan OpenPCDet Toolbox?

Perhatikan bahwa kami telah meningkatkan PCDet dari v0.1 ke v0.2 dengan struktur yang cukup baru untuk mendukung berbagai set data dan model.

OpenPCDet adalah basis kode berbasis Pytorch umum untuk deteksi objek 3D dari titik cloud. Saat ini mendukung beberapa metode deteksi objek 3D canggih dengan kode yang sangat refactored untuk kerangka deteksi 3D satu tahap dan dua tahap.

Berdasarkan OpenPCDet Toolbox, kami memenangkan Waymo Open Dataset Challenge dalam deteksi 3D, pelacakan 3D, adaptasi domain tiga trek di antara semua metode lidar saja, dan model terkait Waymo akan segera dirilis ke OpenPCDet .

Kami secara aktif memperbarui repo ini saat ini, dan lebih banyak kumpulan data dan model akan segera didukung. Kontribusi juga disambut.

Pola Desain OpenPCDet

  • Pemisahan model data dengan koordinat cloud titik terpadu untuk dengan mudah diperluas ke kumpulan data khusus:

  • Definisi kotak 3D terpadu: (x, y, z, dx, dy, dz, heading).

  • Struktur model yang fleksibel dan jelas untuk dengan mudah mendukung berbagai model deteksi 3D:

  • Mendukung berbagai model dalam satu kerangka kerja sebagai:

Fitur yang didukung saat ini

  • Dukung kerangka kerja deteksi objek 3D satu tahap dan dua tahap
  • Dukungan Pelatihan & Pengujian Terdistribusi dengan banyak GPU dan beberapa mesin
  • Mendukung banyak kepala pada skala yang berbeda untuk mendeteksi kelas yang berbeda
  • Dukungan Versi Stacked Set Abstraksi untuk mengkode berbagai poin dalam adegan yang berbeda
  • Dukungan Pemilihan Sampel Pelatihan Adaptif (ATSS) untuk penugasan target
  • Dukungan Ro-Aware Point Cloud Pooling & Ro-Grid Point Cloud Pooling
  • Dukung GPU Versi 3D IOU Perhitungan dan Rotasi NMS

Model Zoo

Baselines Deteksi Objek Kitti 3D

Metode yang didukung yang dipilih ditunjukkan pada tabel di bawah ini. Hasilnya adalah kinerja deteksi 3D dari kesulitan moderat pada set Val dari kitti dataset.

  • Semua model berbasis LIDAR dilatih dengan 8 GTX 1080TI GPU dan tersedia untuk diunduh.
  • Waktu pelatihan diukur dengan 8 Titan XP GPU dan Pytorch 1.5.
waktu pelatihan Mobil@R11 Pedestrian@R11 Pengendara sepeda@r11 unduh
Pointpillar ~ 1,2 jam 77.28 52.29 62.68 Model-18m
KEDUA ~ 1,7 jam 78.62 52.98 67.15 model-20m
Kedua-iou - 79.09 55.74 71.31 Model-46m
Pointrcnn ~ 3 jam 78.70 54.41 72.11 model-16m
Pointrcnn-iou ~ 3 jam 78.75 58.32 71.34 model-16m
Bagian-A2-bebas ~ 3,8 jam 78.72 65.99 74.29 model-226m
Bagian-A2-jangkar ~ 4,3 jam 79.40 60.05 69.90 model-244m
PV-RCNN ~ 5 jam 83.61 57.90 70.47 model-50m
Voxel R-CNN (Mobil) ~ 2,2 jam 84.54 - - model-28m
Focals Conv - f ~ 4 jam 85.66 - - Model-30m
Caddn (mono) ~ 15 jam 21.38 13.02 9.76 Model-774m

Waymo Open Dataset Baselines

Kami menyediakan pengaturan DATA_CONFIG.SAMPLED_INTERVAL di Waymo Open Dataset (WOD) untuk sampel parsial subsampel untuk pelatihan dan evaluasi, sehingga Anda juga dapat bermain dengan WOD dengan mengatur DATA_CONFIG.SAMPLED_INTERVAL yang lebih kecil_config.sampled_interval bahkan jika Anda hanya memiliki sumber daya GPU terbatas.

Secara default, semua model dilatih dengan satu bingkai data 20% (~ 32K frame) dari semua sampel pelatihan pada 8 GTX 1080TI GPU, dan hasil masing -masing sel di sini adalah MAP/MAPH yang dihitung oleh metrik evaluasi Waymo resmi pada seluruh set validasi (versi 1.2).

Kinerja@(Latih dengan data 20%) Vec_l1 VEC_L2 PED_L1 PED_L2 Cyc_l1 Cyc_l2
KEDUA 70.96/70.34 62.58/62.02 65.23/54.24 57.22/47.49 57.13/55.62 54.97/53.53
Pointpillar 70.43/69.83 62.18/61.64 66.21/46.32 58.18/40.64 55.26/51.75 53.18/49.80
Pilar CenterPoint 70.50/69.96 62.18/61.69 73.11/61.97 65.06/55.00 65.44/63.85 62.98/61.46
CenterPoint-Dynamic-Pillar 70.46/69.93 62.06/61.58 73.92/63.35 65.91/56.33 66.24/64.69 63.73/62.24
Centerpoint 71.33/70.76 63.16/62.65 72.09/65.49 64.27/58.23 68.68/67.39 66.11/64.87
CenterPoint (ResNet) 72.76/72.23 64.91/64.42 74.19/67.96 66.03/60.34 71.04/69.79 68.49/67.28
Bagian-A2-jangkar 74.66/74.12 65.82/65.32 71.71/62.24 62.46/54.06 66.53/65.18 64.05/62.75
PV-RCNN (Anchorhead) 75.41/74.74 67.44/66.80 71.98/61.24 63.70/53.95 65.88/64.25 63.39/61.82
PV-RCNN (Centerhead) 75.95/75.43 68.02/67.54 75.94/69.40 67.66/61.62 70.18/68.98 67.73/66.57
Voxel R-CNN (Centerhead) -Dynamic-Voxel 76.13/75.66 68.18/67.74 78.20/71.98 69.29/63.59 70.75/69.68 68.25/67.21
PV-RCNN ++ 77.82/77.32 69.07/68.62 77.99/71.36 69.92/63.74 71.80/70.71 69.31/68.26
PV-RCNN ++ (ResNet) 77.61/77.14 69.18/68.75 79.42/73.31 70.88/65.21 72.50/71.39 69.84/68.77

Di sini kami juga memberikan kinerja beberapa model yang dilatih pada set pelatihan lengkap (lihat kertas PV-RCNN ++):

Kinerja@(Latih dengan data 100%) Vec_l1 VEC_L2 PED_L1 PED_L2 Cyc_l1 Cyc_l2
KEDUA 72.27/71.69 63.85/63.33 68.70/58.18 60.72/51.31 60.62/59.28 58.34/57.05
Pilar CenterPoint 73.37/72.86 65.09/64.62 75.35/65.11 67.61/58.25 67.76/66.22 65.25/63.77
Bagian-A2-jangkar 77.05/76.51 68.47/67.97 75.24/66.87 66.18/58.62 68.60/67.36 66.13/64.93
VoxelNext-2D 77.94/77.47 69.68/69.25 80.24/73.47 72.23/65.88 73.33/72.20 70.66/69.56
VoxelNext 78.16/77.70 69.86/69.42 81.47/76.30 73.48/68.63 76.06/74.90 73.29/72.18
PV-RCNN (Centerhead) 78.00/77.50 69.43/68.98 79.21/73.03 70.42/64.72 71.46/70.27 68.95/67.79
PV-RCNN ++ 79.10/78.63 70.34/69.91 80.62/74.62 71.86/66.30 73.49/72.38 70.70/69.62
PV-RCNN ++ (ResNet) 79.25/78.78 70.61/70.18 81.83/76.28 73.17/68.00 73.72/72.66 71.21/70.19
DSVT-PILLAR 79.44/78.97 71.24/70.81 83.00/77.22 75.45/69.95 76.70/75.70 73.83/72.86
DSVT-VOXEL 79.77/79.31 71.67/71.25 83.75/78.92 76.21/71.57 77.57/76.58 74.70/73.73
PV-RCNN ++ (resnet, 2 frame) 80.17/79.70 72.14/71.70 83.48/80.42 75.54/72.61 74.63/73.75 72.35/71.50
MPPNET (4 frame) 81.54/81.06 74.07/73.61 84.56/81.94 77.20/74.67 77.15/76.50 75.01/74.38
MPPNET (16 frame) 82.74/82.28 75.41/74.96 84.69/82.25 77.43/75.06 77.28/76.66 75.13/74.52

Kami tidak dapat memberikan model pretrained di atas karena perjanjian lisensi Waymo Dataset, tetapi Anda dapat dengan mudah mencapai kinerja yang sama dengan pelatihan dengan konfigurasi default.

Nuscenes 3D Object Detection Baselines

Semua model dilatih dengan 8 GPU dan tersedia untuk diunduh. Untuk pelatihan bevfusion, silakan merujuk ke pedoman ini.

pasangan mase Maoe Mave maae peta Nds unduh
Pointpillar-Multihead 33.87 26.00 32.07 28.74 20.15 44.63 58.23 model-23m
Multihead Kedua (CBGS) 31.15 25.51 26.64 26.26 20.46 50.59 62.29 Model-35m
Centerpoint-pointpillar 31.13 26.04 42.92 23.90 19.14 50.03 60.70 model-23m
Centerpoint (voxel_size = 0,1) 30.11 25.55 38.28 21.94 18.87 56.03 64.54 Model-34m
CenterPoint (voxel_size = 0,075) 28.80 25.43 37.27 21.55 18.24 59.22 66.48 Model-34m
VoxelNext (voxel_size = 0,075) 30.11 25.23 40.57 21.69 18.56 60.53 66.65 Model-31m
Transfusi-L* 27.96 25.37 29.35 27.31 18.55 64.58 69.43 Model-32m
Bevfusion 28.03 25.43 30.19 26.76 18.48 67.75 70.98 Model-157m

*: Gunakan strategi fade, yang menonaktifkan augmentasi data di beberapa zaman terakhir selama pelatihan.

Setelah baseline deteksi objek 3D

Semua model dilatih dengan 8 GPU.

Kendaraan Pejalan kaki Pengendara sepeda peta
Pointrcnn 52.09 4.28 29.84 28.74
Pointpillar 68.57 17.63 46.81 44.34
KEDUA 71.19 26.44 58.04 51.89
PV-RCNN 77.77 23.50 59.37 53.55
Centerpoint 78.02 49.74 67.22 64.99

ARGOVERSE2 BATERELIN DETEKSI OBYEK 3D

Semua model dilatih dengan 4 GPU.

peta unduh
VoxelNext 30.5 Model-32m

Kumpulan data lainnya

Selamat datang untuk mendukung dataset lain dengan mengirimkan permintaan tarik.

Instalasi

Silakan merujuk ke Install.md untuk pemasangan OpenPCDet .

Demo cepat

Silakan merujuk ke demo.md untuk demo cepat untuk diuji dengan model pretrained dan memvisualisasikan hasil yang diprediksi pada data khusus Anda atau data kitti asli.

Memulai

Silakan merujuk ke Geting_Started.md untuk mempelajari lebih lanjut penggunaan tentang proyek ini.

Lisensi

OpenPCDet dirilis di bawah lisensi Apache 2.0.

Pengakuan

OpenPCDet adalah proyek open source untuk persepsi adegan 3D berbasis LIDAR yang mendukung beberapa model persepsi berbasis lidar seperti yang ditunjukkan di atas. Beberapa bagian PCDet dipelajari dari kode resmi yang dirilis dari metode yang didukung di atas. Kami ingin mengucapkan terima kasih atas metode yang diusulkan dan implementasi resmi.

Kami berharap repo ini dapat berfungsi sebagai basis kode yang kuat dan fleksibel untuk memberi manfaat bagi komunitas penelitian dengan mempercepat proses penerimaan ulang karya -karya sebelumnya dan/atau mengembangkan metode baru.

Kutipan

Jika Anda menemukan proyek ini berguna dalam penelitian Anda, silakan pertimbangkan CITE: 

 @misc{openpcdet2020,
    title={OpenPCDet: An Open-source Toolbox for 3D Object Detection from Point Clouds},
    author={OpenPCDet Development Team},
    howpublished = {url{https://github.com/open-mmlab/OpenPCDet}},
    year={2020}
}

Kontribusi

Selamat datang untuk menjadi anggota tim pengembangan OpenPCDET dengan berkontribusi pada repo ini, dan jangan ragu untuk menghubungi kami untuk setiap kontribusi potensial.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua