mmdetection3d
v1.4.0 Release
ドキュメント|インストール| ？モデル動物園| ？ニュースを更新|進行中のプロジェクト| ？報告の問題
英語| 简体中文
MMDETECTION3Dは、一般的な3D検出のための次世代プラットフォームに向けて、Pytorchに基づくオープンソースオブジェクト検出ツールボックスです。 OpenMMLabプロジェクトの一部です。
メインブランチは、Pytorch 1.8+で動作します。
箱から出してマルチモダリティ/シングルモダリティ検出器をサポートします
MVXNet、Votenet、Pointpillarsなどを含むマルチモダリティ/シングルモダリティ検出器を直接サポートします。
屋内/屋外3D検出をサポートします
Scannet、SunRGB-D、Waymo、Nuscenes、Lyft、Kittiなど、人気のある屋内および屋外の3D検出データセットを直接サポートします。 Nuscenesデータセットの場合、Nuimagesデータセットもサポートしています。
2D検出との自然統合
約300以上のモデル、40以上の論文の方法、およびMMDeTectionでサポートされているモジュールは、このコードベースでトレーニングまたは使用できます。
高効率
他のコードベースよりも速くトレーニングします。主な結果は以下のとおりです。詳細はbenchmark.mdにあります。毎秒トレーニングされたサンプルの数を比較します（より高いほど）。他のコードベースでサポートされていないモデルは、 ✗によってマークされています。
| 方法 | mmdeTection3d | OpenPCDET | 投票 | det3d |
|---|---|---|---|---|
| 投票 | 358 | ✗ | 77 | ✗ |
| ポイントピラーカー | 141 | ✗ | ✗ | 140 |
| PointPillars-3Class | 107 | 44 | ✗ | ✗ |
| 2番 | 40 | 30 | ✗ | ✗ |
| パートA2 | 17 | 14 | ✗ | ✗ |
MMDeTectionやMMCVと同様に、MMDeTection3Dをライブラリとして使用して、その上のさまざまなプロジェクトをサポートすることもできます。
バージョン1.4では、MMDETECION3DはWAYMOデータセットをリファクタリングし、Preprocessing、トレーニング/テストのセットアップ、WAYMOデータセットの評価を加速します。また、Waymoの3Dオブジェクト検出モデル、MonocularやBEVなどのカメラベースのサポートも拡張します。 WAYMOデータ情報の詳細な説明はこちらから提供されています。
その上、バージョン1.4では、MMDETECTION3DはWaymo-Miniを提供して、コミュニティユーザーがWaymoを始め、それを使用して迅速な反復開発に使用します。
V1.4.0は8/1/2024にリリースされました：
projectsでのDSVTのトレーニングをサポートしますprojectsでnerf-detをサポートしますV1.3.0は18/10/2023にリリースされました。
projectsでCenetをサポートしますV1.2.0は4/7/2023にリリースされました
mmdet3d/configsで新しい構成タイプをサポートしますprojectsでのDSVTの推論をサポートしますmimを使用してOpendatalabからのデータセットのダウンロードをサポートしますV1.1.1は30/5/2023にリリースされました。
projectsでtpvformerをサポートしますprojectsでのbevfusionのトレーニングをサポートしますインストール手順については、インストールを参照してください。
詳細なユーザーガイドと高度なガイドについては、ドキュメントを参照してください。
結果とモデルは、モデル動物園で利用できます。
| バックボーン | 頭 | 特徴 |
|
|
|
| LIDARベースの3Dオブジェクト検出 | カメラベースの3Dオブジェクト検出 | マルチモーダル3Dオブジェクト検出 | 3Dセマンティックセグメンテーション |
|
|
|
|
| resnet | vovnet | swin-t | ポイントネット++ | 2番 | dgcnn | regnetx | DLA | Minkresnet | cylinder3d | Minkunet | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 2番 | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| ポイントピラー | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ |
| FreeanChor | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ |
| 投票 | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| h3dnet | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| 3DSSD | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| パートA2 | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| mvxnet | ✓✓ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| センターポイント | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| SSN | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ |
| imvotenet | ✓✓ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| FCOS3D | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| ポイントネット++ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Group-Free-3d | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| imvoxelnet | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Paconv | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| dgcnn | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| 煙 | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ |
| PGD | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| モノフレックス | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ |
| SA-SSD | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| fcaf3d | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ |
| PV-RCNN | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| cylinder3d | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ |
| Minkunet | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ |
| spvcnn | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ |
| bevfusion | ✗ | ✗ | ✓✓ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| センターフォーマー | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| TR3D | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓✓ | ✗ | ✗ |
| detr3d | ✓✓ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Petr | ✗ | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| tpvformer | ✓✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
注：約500以上のモデル、MMDETectionによってサポートされている2D検出の90以上の論文の方法は、このコードベースでトレーニングまたは使用できます。
よくある質問については、FAQを参照してください。
MMDeTection3dを改善するためのすべての貢献に感謝します。貢献ガイドラインについては、converting.mdを参照してください。
MMDETECTION3Dは、さまざまな大学や企業の研究者やエンジニアによって提供されるオープンソースプロジェクトです。すべての貢献者と貴重なフィードバックを提供するユーザーに感謝しています。ツールボックスとベンチマークが、既存の方法を再実装するための柔軟なツールキットを提供し、独自の新しい3D検出器を開発することにより、成長する研究コミュニティに役立つことを願っています。
このプロジェクトがあなたの研究で役立つと思う場合は、引用を検討してください。
@misc{mmdet3d2020,
title={{MMDetection3D: OpenMMLab} next-generation platform for general {3D} object detection},
author={MMDetection3D Contributors},
howpublished = { url {https://github.com/open-mmlab/mmdetection3d}},
year={2020}
}このプロジェクトは、Apache 2.0ライセンスの下でリリースされます。
