mmdeploy

Inglês | 简体中文

Destaques

O MMDEPLOP 1.X foi lançado, que é adaptado às bases de código a montante do OpenMmlab 2.0. Alinhe a versão ao usá -la. A filial padrão foi trocada para main do master . O MMDEPLAPE 0.X ( master ) será descontinuado e novos recursos serão adicionados apenas ao MMDeploy 1.x ( main ) no futuro.

mmdeploy	mmengine	MMCV	mmdet	outros
0.xy	-	<= 1.xy	<= 2.xy	0.xy
1.xy	0.xy	2.xy	3.xy	1.xy

A Deploee oferece mais de 2.300 modelos de IA nos formatos ONNX, NCNN, TRT e Openvino. Apresentando uma lista interna de dispositivos de hardware reais, a Deploee permite que os usuários convertem modelos de tocha em qualquer formato de inferência de destino para fins de perfil.

Introdução

O MMDeploy é um conjunto de ferramentas de implantação de modelo de aprendizado profundo de código aberto. Faz parte do projeto OpenMmlab.

Principais características

Suporte totalmente os modelos OpenMMLab

As bases de código e modelos atualmente suportadas são as seguintes e mais serão incluídas no futuro

• mmpretrain
• mmdet
• mmseg
• mmagic
• mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

Backends de inferência múltipla estão disponíveis

A matriz de inferência de plataforma de dispositivo suportada é apresentada como seguinte e mais será compatível.

A referência pode ser encontrada daqui

Dispositivo / Plataforma	Linux	Windows	macos	Android
x86_64 CPU	OnnxRuntime pplnn ncnn Libtorch Openvino TVM	OnnxRuntime Openvino ncnn	-	-
BRAÇO CPU	ncnn	-	-	ncnn
Risc-v	ncnn	-	-	-
Nvidia GPU	OnnxRuntime Tensorrt Libtorch pplnn	OnnxRuntime Tensorrt	-	-
Nvidia Jetson	Tensorrt	-	-	-
Huawei ascend310	Cann	-	-	-
Rockchip	Rknn	-	-	-
Apple M1	-	-	Coreml	-
Adreno GPU	-	-	-	SNPE ncnn
Hexágono DSP	-	-	-	SNPE

Estrutura SDK eficiente e escalável

Todos os tipos de módulos no SDK podem ser estendidos, como Transform para processamento de imagem, Net para inferência de rede neural, Module para pós -processamento e assim por diante

Documentação

Por favor, leia o Getting_Started para o uso básico do MMDeploy. Também fornecemos tutões sobre:

• Construir
  • Construa a partir de Docker
  • Construir a partir do script
  • Construir para Linux
  • Construir para macOS
  • Construa para Win10
  • Construir para Android
  • Construa para Jetson
  • Construa para SNPE
  • Cross Build for Aarch64
• Guia do usuário
  • Como converter modelo
  • Como escrever configuração
  • Como fazer perfil do modelo
  • Como quantizar o modelo
  • Ferramentas úteis
• Guia do desenvolvedor
  • Arquitetura
  • Como apoiar novos modelos
  • Como apoiar novos backnds
  • Como fazer partição modelo
  • Como testar o modelo reescrito
  • Como testar operações de back -end
  • Como fazer teste de regressão
• Operações de back -end personalizadas
  • ncnn
  • OnnxRuntime
  • Tensorrt
• Perguntas frequentes
• Contribuindo

Referência e zoológico de modelo

Você pode encontrar os modelos suportados daqui e seu desempenho na referência.

Contribuindo

Agradecemos todas as contribuições para o MMDeploy. Consulte Contribuindo.md para obter a diretriz contribuinte.

Reconhecimento

Gostaríamos de agradecer sinceramente às seguintes equipes por suas contribuições para o MMDeploy:

• Openppl
• Openvino
• ncnn

Citação

Se você achar este projeto útil em sua pesquisa, considere citar:

 @misc { =mmdeploy ,
    title = { OpenMMLab's Model Deployment Toolbox. } ,
    author = { MMDeploy Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmdeploy} } ,
    year = { 2021 }
}

Licença

Este projeto é lançado sob a licença Apache 2.0.

Projetos no OpenMmlab

• Mengine: Biblioteca fundamental OpenMmlab para treinamento de modelos de aprendizado profundo.
• MMCV: Biblioteca fundamental do OpenMmlab para visão computacional.
• MMPRETRAIN: OpenMMMLab Pré-treinamento Caixa de ferramentas e benchmark.
• Mmagic: Open MM Lab uma caixa de ferramentas de Dvanced, Gerative e Intelligent C Reaction.
• MMDETECTION: Caixa de ferramentas de detecção OpenMMLab e referência.
• MMDETECTION3D: Plataforma de próxima geração do OpenMmlab para detecção geral de objetos 3D.
• MMYOLO: OpenMMMLab YOLO Series Caixa de ferramentas e benchmark
• MMROTATE: Caixa de ferramentas de detecção de objetos rotacionada OpenMMLab e referência.
• MMTRACKING: Caixa de ferramentas de percepção de vídeo OpenMMLab e referência.
• MMSsegmentation: Caixa de ferramentas de segmentação semântica OpenMMLab e referência.
• MMOCR: OpenMMLab Text Detection, Reconhecimento e Caixa de Ferramentas.
• MMPOSE: OpenMmlab Pose Estimativa Caixa de ferramentas e referência.
• MMHUMAN3D: OpenMMLab 3D Modelo Human Paramétrico Caixa de ferramentas e benchmark.
• MMFewshot: OpenMmlab FewShot Learning Caixa de ferramentas e referência.
• Mmaction2: Ação de próxima geração do OpenMmlab Caixa de ferramentas e benchmark.
• MMFlow: OpenMMLab Caixa de ferramentas de fluxo óptico e referência.
• MMDEPLOW: OpenMmlab Model Deployment Framework.
• MMRAZOR: OpenMmlab Model Compression Toolbox e Benchmark.
• MIM: MIM instala pacotes OpenMmlab.
• Playground: um centro central para reunir e exibir projetos incríveis construídos no OpenMmlab.