mmdeploy

英語| 簡體中文

亮點

MMDeploy 1.X已發布，該X適用於OpenMMLAB 2.0的上游代碼庫。使用時，請對齊版本。默認分支已從main轉換master 。 mmdeploy 0.x（ master ）將被棄用，並且將來只會將新功能添加到mmdeploy 1.x（ main ）中。

mmdeploy	mmengine	MMCV	mmdet	其他的
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

Deploee提供了ONNX，NCNN，TRT和OpenVino格式的2300多個AI型號。 Deploee具有內置的真實硬件設備的列表，使用戶可以將火炬模型轉換為任何目標推理格式，以進行分析。

介紹

MMDEPLOY是一種開源深度學習模型部署工具集。它是OpenMMLAB項目的一部分。

主要功能

完全支持OpenMMLAB模型

當前支持的代碼庫和模型如下，將來還會包含更多

• MMMPRETRAIN
• mmdet
• mmseg
• mmagic
• Mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

有多個推理後端可用

所支持的設備 - 平台 - 解釋後矩陣如下，並且更多將兼容。

可以從這裡找到基準

裝置 / 平台	Linux	視窗	macos	安卓
x86_64 中央處理器	Onnxruntime pplnn NCNN libtorch Openvino TVM	Onnxruntime Openvino NCNN	-	-
手臂 中央處理器	NCNN	-	-	NCNN
RISC-V	NCNN	-	-	-
Nvidia GPU	Onnxruntime 張力 libtorch pplnn	Onnxruntime 張力	-	-
Nvidia 傑森	張力	-	-	-
華為 Ascend310	坎恩	-	-	-
搖滾樂	rknn	-	-	-
蘋果M1	-	-	Coreml	-
Adreno GPU	-	-	-	snpe NCNN
六邊形 DSP	-	-	-	snpe

高效且可擴展的C/C ++ SDK框架

可以擴展SDK中的各種模塊，例如用於圖像處理的Transform ，神經網絡推斷的Net ，用於後處理的Module等等

文件

請閱讀get_started以獲取mmdeploy的基本用法。我們還提供有關：

• 建造
  • 從Docker構建
  • 從腳本構建
  • 為Linux構建
  • 為MacOS構建
  • 為Win10建造
  • 為Android構建
  • 為Jetson建造
  • 為SNPE構建
  • Arch64的交叉構建
• 用戶指南
  • 如何轉換模型
  • 如何編寫配置
  • 如何配置模型
  • 如何量化模型
  • 有用的工具
• 開發人員指南
  • 建築學
  • 如何支持新模型
  • 如何支持新的後端
  • 如何分區模型
  • 如何測試重寫模型
  • 如何測試後端操作
  • 如何進行回歸測試
• 自定義後端操作
  • NCNN
  • Onnxruntime
  • 張力
• 常問問題
• 貢獻

基準和模型動物園

您可以從此處找到受支持的模型及其在基準中的性能。

貢獻

我們感謝對Mmdeploy的所有貢獻。請參閱貢獻指南的貢獻。

致謝

我們要衷心感謝以下團隊對MMDeploy的貢獻：

• OpenPPL
• Openvino
• NCNN

引用

如果您發現此項目在您的研究中有用，請考慮引用：

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

執照

該項目以Apache 2.0許可發布。

OpenMMLAB的項目

• Mmengine：用於培訓深度學習模型的OpenMMLAB基礎圖書館。
• MMCV：計算機視覺的OpenMMLAB基礎庫。
• MMMPRETRAIN：OpenMMLAB預訓練工具箱和基準測試。
• mmagic：開放MM實驗室A DVANCAND， G ENTIRATIVE和ITELLIPENT C REATION工具箱。
• mmDetection：OpenMMLAB檢測工具箱和基準測試。
• MMDetection3D：OpenMMLAB的一般3D對象檢測的下一代平台。
• Myolo：OpenMMLAB YOLO系列工具箱和基準測試
• mmrotate：OpenMMLAB旋轉對象檢測工具箱和基準測試。
• mmmtracking：OpenMMLAB視頻感知工具箱和基準測試。
• MMSementation：OpenMMLAB語義分割工具箱和基準測試。
• MMOCR：OpenMMLAB文本檢測，識別和理解工具箱。
• mmpose：OpenMMLAB姿勢估計工具箱和基準。
• mmhuman3d：OpenMMLAB 3D人類參數模型工具箱和基準測試。
• mmfewshot：OpenMMLAB LIGHSHOT LEALLED TOOLBAX和BENCHMARK。
• MMACTION2：OpenMMLAB的下一代動作理解工具箱和基準測試。
• MMFlow：OpenMMLAB光流動工具箱和基準測試。
• mmdeploy：OpenMMLAB模型部署框架。
• mmrazor：OpenMMLAB模型壓縮工具箱和基準測試。
• MIM：MIM安裝OpenMMLAB軟件包。
• 遊樂場：一個集中樞紐，用於收集和展示基於OpenMmlab的驚人項目。