mmdeploy

英语| 简体中文

亮点

MMDeploy 1.X已发布，该X适用于OpenMMLAB 2.0的上游代码库。使用时，请对齐版本。默认分支已从main转换master 。 mmdeploy 0.x（ master ）将被弃用，并且将来只会将新功能添加到mmdeploy 1.x（ main ）中。

mmdeploy	mmengine	MMCV	mmdet	其他的
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

Deploee提供了ONNX，NCNN，TRT和OpenVino格式的2300多个AI型号。 Deploee具有内置的真实硬件设备的列表，使用户可以将火炬模型转换为任何目标推理格式，以进行分析。

介绍

MMDEPLOY是一种开源深度学习模型部署工具集。它是OpenMMLAB项目的一部分。

主要功能

完全支持OpenMMLAB模型

当前支持的代码库和模型如下，将来还会包含更多

• MMMPRETRAIN
• mmdet
• mmseg
• mmagic
• Mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

有多个推理后端可用

所支持的设备 - 平台 - 解释后矩阵如下，并且更多将兼容。

可以从这里找到基准

设备 / 平台	Linux	视窗	macos	安卓
x86_64 中央处理器	Onnxruntime pplnn NCNN libtorch Openvino TVM	Onnxruntime Openvino NCNN	-	-
手臂 中央处理器	NCNN	-	-	NCNN
RISC-V	NCNN	-	-	-
Nvidia GPU	Onnxruntime 张力 libtorch pplnn	Onnxruntime 张力	-	-
Nvidia 杰森	张力	-	-	-
华为 Ascend310	坎恩	-	-	-
摇滚乐	rknn	-	-	-
苹果M1	-	-	Coreml	-
Adreno GPU	-	-	-	snpe NCNN
六边形 DSP	-	-	-	snpe

高效且可扩展的C/C ++ SDK框架

可以扩展SDK中的各种模块，例如用于图像处理的Transform ，神经网络推断的Net ，用于后处理的Module等等

文档

请阅读get_started以获取mmdeploy的基本用法。我们还提供有关：

• 建造
  • 从Docker构建
  • 从脚本构建
  • 为Linux构建
  • 为MacOS构建
  • 为Win10建造
  • 为Android构建
  • 为Jetson建造
  • 为SNPE构建
  • Arch64的交叉构建
• 用户指南
  • 如何转换模型
  • 如何编写配置
  • 如何配置模型
  • 如何量化模型
  • 有用的工具
• 开发人员指南
  • 建筑学
  • 如何支持新模型
  • 如何支持新的后端
  • 如何分区模型
  • 如何测试重写模型
  • 如何测试后端操作
  • 如何进行回归测试
• 自定义后端操作
  • NCNN
  • Onnxruntime
  • 张力
• 常问问题
• 贡献

基准和模型动物园

您可以从此处找到受支持的模型及其在基准中的性能。

贡献

我们感谢对Mmdeploy的所有贡献。请参阅贡献指南的贡献。

致谢

我们要衷心感谢以下团队对MMDeploy的贡献：

• OpenPPL
• Openvino
• NCNN

引用

如果您发现此项目在您的研究中有用，请考虑引用：

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

执照

该项目以Apache 2.0许可发布。

OpenMMLAB的项目

• Mmengine：用于培训深度学习模型的OpenMMLAB基础图书馆。
• MMCV：计算机视觉的OpenMMLAB基础库。
• MMMPRETRAIN：OpenMMLAB预训练工具箱和基准测试。
• mmagic：开放MM实验室A DVANCAND， G ENTIRATIVE和ITELLIPENT C REATION工具箱。
• mmDetection：OpenMMLAB检测工具箱和基准测试。
• MMDetection3D：OpenMMLAB的一般3D对象检测的下一代平台。
• Myolo：OpenMMLAB YOLO系列工具箱和基准测试
• mmrotate：OpenMMLAB旋转对象检测工具箱和基准测试。
• mmmtracking：OpenMMLAB视频感知工具箱和基准测试。
• MMSementation：OpenMMLAB语义分割工具箱和基准测试。
• MMOCR：OpenMMLAB文本检测，识别和理解工具箱。
• mmpose：OpenMMLAB姿势估计工具箱和基准。
• mmhuman3d：OpenMMLAB 3D人类参数模型工具箱和基准测试。
• mmfewshot：OpenMMLAB LIGHSHOT LEALLED TOOLBAX和BENCHMARK。
• MMACTION2：OpenMMLAB的下一代动作理解工具箱和基准测试。
• MMFlow：OpenMMLAB光流动工具箱和基准测试。
• mmdeploy：OpenMMLAB模型部署框架。
• mmrazor：OpenMMLAB模型压缩工具箱和基准测试。
• MIM：MIM安装OpenMMLAB软件包。
• 游乐场：一个集中枢纽，用于收集和展示基于OpenMmlab的惊人项目。