mmdeploy

Englisch | 简体中文

Highlights

Der MMDeploy 1.x wurde veröffentlicht, der an Upstream -Codebasen von OpenMmlab 2.0 angepasst ist. Bitte richten Sie die Version bei , wenn Sie sie verwenden. Der Standardzweig wurde vom master auf main umgestellt. Mmdeploy 0.x ( master ) wird veraltet und in Zukunft nur neue Funktionen zu MMDeploy 1.x ( main ) hinzugefügt.

mmdeploy	Mmengine	mmcv	mmdet	andere
0. x	- -	<= 1.xy	<= 2.xy	0. x
1.xy	0. x	2.xy	3.xy	1.xy

Deploee bietet über 2.300 KI -Modelle in den Formaten ONNX-, NCNN-, TRT- und OpenVino -Formate. Deploee mit einer integrierten Liste echter Hardware-Geräte ermöglicht es Benutzern, Fackelmodelle für Profilierungszwecke in ein beliebiges Ziel-Inferenzformat umzuwandeln.

Einführung

MMDeploy ist ein Open-Source Deep Learning Model Deployment Toolset. Es ist Teil des OpenMMLAB -Projekts.

Hauptmerkmale

Unterstützen Sie OpenMMMLab -Modelle voll und ganz

Die derzeit unterstützten Codebasen und Modelle sind wie folgt, und es werden in Zukunft weitere enthalten sein

• mmpetrain
• mmdet
• mmseg
• mmagisch
• MMOCR
• MMier
• mmdet3d
• Mmrotate
• MMACTION2

Mehrere Inferenz -Backends sind verfügbar

Die unterstützte Geräte-Plattform-Inferencebackend-Matrix wird wie folgt dargestellt, und mehr ist kompatibel.

Der Benchmark ist von hier aus zu finden

Gerät / Plattform	Linux	Fenster	macos	Android
x86_64 CPU	Onnxruntime pplnn ncnn Libtorch OpenVino TVM	Onnxruntime OpenVino ncnn	- -	- -
ARM CPU	ncnn	- -	- -	ncnn
RISC-V	ncnn	- -	- -	- -
Nvidia GPU	Onnxruntime Tensorrt Libtorch pplnn	Onnxruntime Tensorrt	- -	- -
Nvidia Jetson	Tensorrt	- -	- -	- -
Huawei Ascend310	Cann	- -	- -	- -
Rockchip	Rknn	- -	- -	- -
Apple M1	- -	- -	Coreml	- -
Adreno GPU	- -	- -	- -	SNPE ncnn
Hexagon DSP	- -	- -	- -	SNPE

Effizientes und skalierbares C/C ++ SDK -Framework

Alle Module von Modulen im SDK können erweitert Transform , z Net

Dokumentation

Bitte lesen Sie goting_started für die grundlegende Verwendung von mmdeploy. Wir bieten auch Tutoials über:

• Bauen
  • Bauen aus Docker
  • Aus dem Skript erstellen
  • Für Linux bauen
  • Für macOS erstellen
  • Bauen für Win10
  • Für Android bauen
  • Für Jetson bauen
  • Bauen Sie für SNPE
  • Cross Build für aArarch64
• Benutzerhandbuch
  • Wie man Modell konvertieren
  • So schreiben Sie Konfiguration
  • So profilieren Sie das Modell
  • Wie man das Modell quantisieren
  • Nützliche Werkzeuge
• Entwicklerleitfaden
  • Architektur
  • So unterstützen Sie neue Modelle
  • So unterstützen Sie neue Backends
  • Wie man das Modell aufteilt
  • So testen Sie das umgeschriebene Modell
  • So testen Sie Backend -Ops
  • Wie man Regressionstest durchführt
• Benutzerdefinierte Backend -Ops
  • ncnn
  • Onnxruntime
  • Tensorrt
• FAQ
• Beitragen

Benchmark und Modellzoo

Von hier aus finden Sie die unterstützten Modelle und ihre Leistung im Benchmark.

Beitragen

Wir schätzen alle Beiträge zu MMDeploy. Weitere Informationen finden Sie in der beitragenden Richtlinie.

Anerkennung

Wir möchten uns aufrichtig bei den folgenden Teams für ihre Beiträge zu MMDeploy bedanken:

• Openppl
• OpenVino
• ncnn

Zitat

Wenn Sie dieses Projekt in Ihrer Forschung nützlich finden, sollten Sie sich angeben:

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

Lizenz

Dieses Projekt wird unter der Apache 2.0 -Lizenz veröffentlicht.

Projekte in OpenMmlab

• Mmengine: OpenMMMLAB -Grundlagenbibliothek für das Training von Deep Learning -Modellen.
• MMCV: OpenMMLAB Fundamentalbibliothek für Computer Vision.
• MMPRETRAIN: OpenMMLAB Pre-Training Toolbox und Benchmark.
• MMAGIC: Öffnen Sie MM Lab A DVANFE, GEERATIVE UND INTELLIGENT C ARETION TOOLBOX.
• Mmdetion: OpenMmlab -Erkennungs -Toolbox und Benchmark.
• MMDETECTICE3D: OpenMMLAB-Plattform der nächsten Generation für die allgemeine 3D-Objekterkennung.
• MMYOLO: OpenMMMLAB YOLO -Serie Toolbox und Benchmark
• MMROTATE: OpenMMMLAB -Toolbox und Benchmark gedrehte Objekterkennung.
• MMTRACKING: OpenMMLAB -Videowahrnehmungs -Toolbox und Benchmark.
• MMSegmentierung: OpenMMMLAB Semantic Segmentation Toolbox und Benchmark.
• MMOCR: OpenMMLAB -Texterkennung, Erkennung und Verständnis der Toolbox.
• MMIltier: OpenMMMLAB -Pose -Schätzung Toolbox und Benchmark.
• MMHUMAN3D: OpenMMLAB 3D Human Parametric Model Toolbox und Benchmark.
• MMFewShot: OpenMMMLAB WeeShot Learning Toolbox und Benchmark.
• MMACTION2: OpenMMMLAB-Aktion der nächsten Generation, das Toolbox und Benchmark zu verstehen.
• MMflow: OpenMMMLAB Optical Flow Toolbox und Benchmark.
• MMDeploy: OpenMMLAB -Modellbereitstellungsframework.
• MMrazor: OpenMMMLAB -Modellkomprimierungs -Toolbox und Benchmark.
• MIM: MIM installiert OpenMMLab -Pakete.
• Spielplatz: Ein zentraler Hub zum Sammeln und Präsentieren von erstaunlichen Projekten, die auf OpenMMLAB aufgebaut sind.