mmdeploy

英語| 简体中文

ハイライト

mmdeploy 1.xがリリースされました。これは、OpenMMLab 2.0の上流コードベースに適合しています。使用するときはバージョンを合わせてください。デフォルトのブランチは、 masterからmainに切り替えられました。 mmdeploy 0.x（ master ）は廃止され、新機能は将来mmdeploy 1.x（ main ）にのみ追加されます。

mmdeploy	Mmengine	MMCV	mmdet	その他
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

Deploeeは、ONNX、NCNN、TRT、およびOpenVino形式で2,300を超えるAIモデルを提供しています。本物のハードウェアデバイスの組み込みリストを備えたDeploeeを使用すると、ユーザーはプロファイリングのためにトーチモデルを任意のターゲット推論形式に変換できます。

導入

MMDEPLOYは、オープンソースのディープラーニングモデル展開ツールセットです。 OpenMMLabプロジェクトの一部です。

主な機能

OpenMMLabモデルを完全にサポートします

現在サポートされているコードベースとモデルは次のとおりです。

• mmpretrain
• mmdet
• mmseg
• mmagic
• mmocr
• マムポーシ
• mmdet3d
• mmrotate
• MMACTION2

複数の推論バックエンドが利用可能です

サポートされているデバイスとプラットフォーム - インセンファレンスバックエント行列は、次のように表示され、さらに互換性があります。

ベンチマークはここから見つけることができます

デバイス / プラットフォーム	Linux	Windows	macos	アンドロイド
x86_64 CPU	onnxruntime pplnn ncnn Libtorch OpenVino TVM	onnxruntime OpenVino ncnn	-	-
アーム CPU	ncnn	-	-	ncnn
RISC-V	ncnn	-	-	-
nvidia GPU	onnxruntime Tensort Libtorch pplnn	onnxruntime Tensort	-	-
nvidia ジェットソン	Tensort	-	-	-
Huawei ascend310	can	-	-	-
Rockchip	rknn	-	-	-
Apple M1	-	-	coreml	-
アドレノ GPU	-	-	-	snpe ncnn
六角形 DSP	-	-	-	snpe

効率的でスケーラブルなC/C ++ SDKフレームワーク

SDKのあらゆる種類のモジュールを拡張できます。たとえば、画像処理用のTransform 、ニューラルネットワーク推論用のNet 、ポストプロセスのModuleなど

ドキュメント

mmdeployの基本的な使用については、gets_startedをお読みください。また、次のことについてのTutoialsも提供します

• 建てる
  • Dockerからビルド
  • スクリプトから構築します
  • Linux用にビルドします
  • macOSのためにビルドします
  • Win10のためにビルド
  • Android用にビルドします
  • ジェットソンのためにビルド
  • SNPEのためにビルドします
  • AARCH64のクロスビルド
• ユーザーガイド
  • モデルを変換する方法
  • 構成の書き方
  • モデルのプロファイル方法
  • モデルを量子化する方法
  • 便利なツール
• 開発者ガイド
  • 建築
  • 新しいモデルをサポートする方法
  • 新しいバックエンドをサポートする方法
  • モデルを分割する方法
  • 書き換えモデルをテストする方法
  • バックエンドOPSをテストする方法
  • 回帰テストの実行方法
• カスタムバックエンドops
  • ncnn
  • onnxruntime
  • Tensort
• よくある質問
• 貢献

ベンチマークとモデル動物園

ここからサポートされているモデルとベンチマークでのパフォーマンスを見つけることができます。

貢献

Mmdeployへのすべての貢献に感謝します。貢献ガイドラインについては、converting.mdを参照してください。

了承

MMDeployへの貢献について、次のチームに心から感謝したいと思います。

• openppl
• OpenVino
• ncnn

引用

このプロジェクトがあなたの研究で役立つと思う場合は、引用を検討してください。

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

ライセンス

このプロジェクトは、Apache 2.0ライセンスの下でリリースされます。

OpenMMLabのプロジェクト

• MMENGINE：Deep LearningモデルをトレーニングするためのOpenMMLabファンデーションライブラリ。
• MMCV：Computer VisionのOpenMMLabファンデーションライブラリ。
• MMPRETRAIN：OpenMMLab事前トレーニングツールボックスとベンチマーク。
• MMAGIC：Open MM Lab A DVanced、 G EnerativeおよびI ntelligent C Reation Toolbox。
• MMDETECTION：OpenMMLAB検出ツールボックスとベンチマーク。
• MMDETECTION3D：一般的な3Dオブジェクト検出のためのOpenMMLabの次世代プラットフォーム。
• Mmyolo：OpenMMLab Yoloシリーズのツールボックスとベンチマーク
• mmrotate：OpenMMLab回転オブジェクト検出ツールボックスとベンチマーク。
• MMTracking：OpenMMLabビデオ認識ツールボックスとベンチマーク。
• MMSegemation：OpenMMLabセマンティックセグメンテーションツールボックスとベンチマーク。
• MMOCR：OpenMMLABテキストの検出、認識、および理解ツールボックス。
• MMOPSE：OpenMMLabは、推定ツールボックスとベンチマークをポーズします。
• MMHUMAN3D：OpenMMLab 3D Human Parametric Model Toolboxとベンチマーク。
• mmfewshot：Openmmlab少数の学習ツールボックスとベンチマーク。
• MMACTION2：OpenMMLabの次世代アクション理解ツールボックスとベンチマーク。
• MMFLOW：OpenMMLab光フローツールボックスとベンチマーク。
• mmdeploy：openmmlabモデルの展開フレームワーク。
• MMRAZOR：OpenMMLabモデル圧縮ツールボックスとベンチマーク。
• MIM：MIMはOpenMMLabパッケージをインストールします。
• 遊び場：OpenMMLabに基づいて構築された素晴らしいプロジェクトを集めて紹介するための中央のハブ。