mmdeploy

Bahasa Inggris | 简体中文

Highlight

MMDeploy 1.x telah dirilis, yang disesuaikan dengan basis kode hulu dari OpenMMLAB 2.0. Harap sejajarkan versi saat menggunakannya. Cabang default telah dialihkan ke main dari master . Mmdeploy 0.x ( master ) akan sudah usang dan fitur baru hanya akan ditambahkan ke MMDeploy 1.x ( main ) di masa depan.

mmdeploy	mmengine	MMCV	mmdet	yang lain
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

Deploee menawarkan lebih dari 2.300 model AI dalam format Onnx, NCNN, TRT dan OpenVino. Menampilkan daftar bawaan perangkat perangkat keras nyata, Deploee memungkinkan pengguna untuk mengonversi model obor menjadi format inferensi target apa pun untuk keperluan profil.

Perkenalan

MMDEPLOY adalah alat penyebaran model pembelajaran open-source. Ini adalah bagian dari proyek OpenMmLab.

Fitur utama

Sepenuhnya mendukung model OpenMmLab

Basis kode dan model yang saat ini didukung adalah sebagai berikut, dan lebih banyak lagi akan dimasukkan di masa depan

• mmpretrain
• mmdet
• mmseg
• mmagic
• mmocr
• MMPOSE
• mmdet3d
• mmrotate
• mmaction2

Tersedia backend beberapa inferensi

Matriks perangkat-platform-inferencerbackend yang didukung disajikan sebagai berikut, dan lebih banyak lagi akan kompatibel.

Benchmark dapat ditemukan dari sini

Perangkat / Platform	Linux	Windows	MacOS	Android
x86_64 CPU	onnxruntime pplnn ncnn Libtorch Openvino TVM	onnxruntime Openvino ncnn	-	-
LENGAN CPU	ncnn	-	-	ncnn
Risc-v	ncnn	-	-	-
Nvidia GPU	onnxruntime Tensorrt Libtorch pplnn	onnxruntime Tensorrt	-	-
Nvidia Jetson	Tensorrt	-	-	-
Huawei Ascend310	MENGENDARAI KAPAL	-	-	-
Rockchip	Rknn	-	-	-
Apple M1	-	-	Coreml	-
Adreno GPU	-	-	-	Snpe ncnn
Segi enam Dsp	-	-	-	Snpe

Kerangka kerja SDK C/C ++ yang efisien dan dapat diskalakan

Semua jenis modul dalam SDK dapat diperpanjang, seperti Transform untuk pemrosesan gambar, Net untuk inferensi jaringan saraf, Module untuk postprocessing dan sebagainya

Dokumentasi

Harap baca Geting_Started untuk penggunaan dasar MMDeploy. Kami juga memberikan tutoial tentang:

• Membangun
  • Bangun dari Docker
  • Bangun dari skrip
  • Bangun untuk Linux
  • Bangun untuk MacOS
  • Bangun untuk WIN10
  • Bangun untuk Android
  • Bangun untuk Jetson
  • Bangun untuk SNPE
  • Bangun silang untuk Aarch64
• Panduan Pengguna
  • Cara mengonversi model
  • Cara menulis konfigurasi
  • Cara Profil Model
  • Cara mengukur model
  • Alat yang berguna
• Panduan Pengembang
  • Arsitektur
  • Bagaimana Mendukung Model Baru
  • Bagaimana mendukung backends baru
  • Cara Model Partisi
  • Cara menguji model penulisan ulang
  • Cara menguji operasi backend
  • Bagaimana melakukan tes regresi
• OP Backend Kustom
  • ncnn
  • Onnxruntime
  • Tensorrt
• FAQ
• Berkontribusi

Benchmark dan Model Zoo

Anda dapat menemukan model yang didukung dari sini dan kinerjanya di tolok ukur.

Berkontribusi

Kami menghargai semua kontribusi untuk MMDeploy. Silakan merujuk ke Contributing.MD untuk Pedoman yang Berkontribusi.

Pengakuan

Kami ingin mengucapkan terima kasih kepada tim -tim berikut atas kontribusi mereka untuk MMDeploy:

• Openppl
• Openvino
• ncnn

Kutipan

Jika Anda menemukan proyek ini berguna dalam penelitian Anda, silakan pertimbangkan mengutip:

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

Lisensi

Proyek ini dirilis di bawah lisensi Apache 2.0.

Proyek di OpenMMLab

• MMengine: Perpustakaan dasar OpenMMLAB untuk melatih model pembelajaran yang mendalam.
• MMCV: Perpustakaan dasar OpenMMLAB untuk visi komputer.
• MMpretrain: OpenMMLAB Pra-Pelatihan Toolbox dan Benchmark.
• Mmagic: buka mm lab a dvanced, g enerative dan i ntelligent c reation Toolbox.
• MMDETEKSI: OpenMmLab Detection Toolbox and Benchmark.
• MMDETECTION3D: Platform generasi berikutnya OpenMMLAB untuk deteksi objek 3D umum.
• MMYOLO: OpenMmLab Yolo Series Toolbox dan Benchmark
• MMRotate: OpenMMLAB Rotated Object Detection Toolbox dan Benchmark.
• MMTRACKING: OpenMMLAB Video Persepsi Toolbox and Benchmark.
• MMSmentation: OpenMMLAB SEMITIT Segmentation Toolbox dan Benchmark.
• MMOCR: Deteksi Teks OpenMMLAB, Pengakuan, dan Pemahaman Toolbox.
• MMPOSE: OpenMMLAB Pose Estimation Toolbox dan Benchmark.
• MMHUMAN3D: OpenMMLAB 3D Human Parametric Model Toolbox and Benchmark.
• MMFEWSHOT: OpenMMLAB Sewshot Learning Toolbox dan Benchmark.
• MMACTION2: OpenMMLAB's Next-Generation Action Memahami Kotak Alat dan Benchmark.
• MMFLOW: OpenMMLAB Optical Flow Toolbox dan Benchmark.
• MMDeploy: Kerangka Penyebaran Model OpenMMLab.
• MMRAZOR: OpenMMLAB Model Compression Toolbox dan Benchmark.
• MIM: MIM menginstal paket OpenMMLAB.
• Playground: Hub pusat untuk mengumpulkan dan menampilkan proyek -proyek luar biasa yang dibangun di atas OpenMmlab.