mmdeploy

Anglais | 简体中文

Points forts

Le MMDEPLOY 1.x a été publié, qui est adapté aux bases de code en amont d'OpenMMLab 2.0. Veuillez aligner la version lorsque vous l'utilisez. La branche par défaut a été transférée à main du master . MMDEPLOY 0.x ( master ) sera obsolète et de nouvelles fonctionnalités ne seront ajoutées qu'à MMDEPLOY 1.x ( main ) à l'avenir.

mmdeploi	Mmengine	MMCV	mmdet	autres
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

DePloee propose plus de 2 300 modèles AI dans les formats ONNX, NCNN, TRT et OpenVino. Doté d'une liste intégrée d'appareils matériels réels, DePloee permet aux utilisateurs de convertir les modèles de torche en n'importe quel format d'inférence cible à des fins de profilage.

Introduction

MMDEPLOY est un ensemble d'outils de déploiement de modèle d'apprentissage en profondeur open source. Cela fait partie du projet OpenMMLAB.

Caractéristiques principales

Prise en charge des modèles OpenMMLAB entièrement

Les bases et modèles actuellement pris en charge sont les suivants, et d'autres seront inclus dans le futur

• mmptrain
• mmdet
• mmseg
• mmagic
• mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

Des backends d'inférence multiples sont disponibles

La matrice de la plate-forme de la plateforme de l'appareil prise en charge est présentée comme suivante, et d'autres seront compatibles.

La référence se trouve à partir d'ici

Appareil / Plate-forme	Linux	Fenêtre	macos	Androïde
x86_64 Processeur	onnxruntime pplnn ncnn Libtorch Openvino TVM	onnxruntime Openvino ncnn	-	-
BRAS Processeur	ncnn	-	-	ncnn
RISC-V	ncnn	-	-	-
Nvidia GPU	onnxruntime Tensorrt Libtorch pplnn	onnxruntime Tensorrt	-	-
Nvidia Jetson	Tensorrt	-	-	-
Huawei ascendant310	Canzer	-	-	-
Tamip	Rknn	-	-	-
Apple M1	-	-	Coreml	-
Adréno GPU	-	-	-	Snpe ncnn
Hexagone DSP	-	-	-	Snpe

Framework SDK efficace et évolutif C / C ++

Toutes sortes de modules dans le SDK peuvent être étendus, tels que Transform pour le traitement d'image, Net pour l'inférence du réseau neuronal, Module de post-traitement et ainsi de suite

Documentation

Veuillez lire Get_Started pour l'utilisation de base de MMDEPLOY. Nous fournissons également des tutoials sur:

• Construire
  • Construire à partir de docker
  • Construire à partir du script
  • Construire pour Linux
  • Construire pour macOS
  • Construire pour win10
  • Construire pour Android
  • Construire pour Jetson
  • Construire pour SNPE
  • Cross Build pour Aarch64
• Guide de l'utilisateur
  • Comment convertir le modèle
  • Comment écrire la configuration
  • Comment profiler le modèle
  • Comment quantifier le modèle
  • Outils utiles
• Guide du développeur
  • Architecture
  • Comment prendre en charge de nouveaux modèles
  • Comment prendre en charge de nouveaux backends
  • Comment partitionner le modèle
  • Comment tester le modèle réécrit
  • Comment tester les opérations backend
  • Comment faire du test de régression
• OPS Backend personnalisés
  • ncnn
  • Onnxruntime
  • tensorrt
• FAQ
• Contributif

Benchmark and Model Zoo

Vous pouvez trouver les modèles pris en charge à partir d'ici et leurs performances dans la référence.

Contributif

Nous apprécions toutes les contributions à MMDEPLOY. Veuillez vous référer à contribution.md pour la directive contributive.

Reconnaissance

Nous tenons à remercier sincèrement les équipes suivantes pour leurs contributions à MMDEPLOY:

• Openppl
• Openvino
• ncnn

Citation

Si vous trouvez ce projet utile dans vos recherches, veuillez envisager de citer:

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

Licence

Ce projet est publié sous la licence Apache 2.0.

Projets dans OpenMmLab

• MMENGINE: Bibliothèque fondamentale OpenMMLAB pour la formation des modèles d'apprentissage en profondeur.
• MMCV: Bibliothèque fondamentale OpenMMLab pour la vision par ordinateur.
• MMPRETRAIN: Boîte à outils pré-entraînement OpenMMLAB et benchmark.
• MMAGIC: Open MM Lab a Dvanced, G Enerative et I Ntelligent C Boîte à outils de rérétion C.
• MMDETECTION: Boîte à outils de détection OpenMMLAB et benchmark.
• MMDETECTION3D: Plateforme de nouvelle génération d'OpenMMLab pour la détection d'objets General 3D.
• MMYOLO: Boîte à outils et référence OpenMMLAB YOLO Série Yolo
• MMROTATE: Boîte à outils de détection d'objets rotative OpenMMLab et benchmark.
• MMTRACKING: OpenMMLab Video Perception Toolbox and Benchmark.
• MmSegmentation: boîte à outils de segmentation sémantique OpenMMLAB et référence.
• MMOCR: OpenMmLab Text Detection, Reconnaissance et compréhension de la boîte à outils.
• MMPOSE: OpenMMLab Pose Estimation Toolbox et Benchmark.
• MMHUMAN3D: OpenMMLab 3D Human Parametric Model Box and Benchmark.
• MMFewshot: OpenMmLab FewShot Learning Toolbox et Benchmark.
• MMAction2: OpenMMLab Next Genération Action Comprendre la boîte à outils et la référence.
• MMFLOW: boîte à outils à débit optique OpenMMLAB et benchmark.
• MMDEPLOY: Framework de déploiement du modèle OpenMMLAB.
• MMRAZOR: boîte à outils de compression du modèle OpenMMLAB et benchmark.
• MIM: MIM installe les packages OpenMmLab.
• Playground: un centre central pour la rassemblement et la présentation de projets incroyables construits sur OpenMmLab.