ml cvnets

CVNets: uma biblioteca para treinar redes de visão computacional

O CVNets é um kit de ferramentas de visão computacional que permite que pesquisadores e engenheiros treinem modelos de visão computacional padrão e novos e não móveis para variedade de tarefas, incluindo classificação de objetos, detecção de objetos, segmentação semântica e modelos de fundação (por exemplo, clipe).

Índice

• O que há de novo?
• Instalação
• Começando
• Modelos e tarefas suportados
• Mantenedores
• Esforço de pesquisa na Apple usando cvNets
• Contribuindo para CVNets
• Licença
• Citação

O que há de novo?

• Julho de 2023 : versão 0.4 da biblioteca CVNets inclui
  • Bytes são tudo o que você precisa: Transformers operando diretamente em bytes de arquivo
  • RangeAugment: aumento eficiente online com aprendizado de faixa
  • Treinamento e avaliação de modelos de fundação (clipe)
  • Máscara R-CNN
  • EficienteNet, transformador Swin e Vit
  • Suporte aprimorado de destilação

Instalação

Recomendamos usar o Python 3.10+ e o pytorch (versão> = v1.12.0)

Instruções abaixo Use o CONDA, se você não tiver o CONDA instalado, pode conferir como instalar o CONDA.

 # Clone the repo
git clone [email protected]:apple/ml-cvnets.git
cd ml-cvnets

# Create a virtual env. We use Conda
conda create -n cvnets python=3.10.8
conda activate cvnets

# install requirements and CVNets package
pip install -r requirements.txt -c constraints.txt
pip install --editable . 

Começando

• As instruções gerais para trabalhar com CVNets são fornecidas aqui.
• Exemplos para treinamento e avaliação de modelos são fornecidos aqui e aqui.
• Exemplos para converter um modelo Pytorch em Coreml são fornecidos aqui.

Modelos e tarefas suportados

Para ver uma lista de modelos e benchmarks disponíveis, consulte a pasta Model Zoo e Exemplos.

Modelos de classificação do imagenet

• CNNS
  • MobileNetv1
  • MobileNetv2
  • MobileNetv3
  • EficienteNET
  • Resnet
  • Regnet
• Transformadores
  • Transformador de visão
  • MobileVitv1
  • MobileVitv2
  • Swintransformer

Classificação multimodal

• Byteformer

Detecção de objetos

• SSD
• Máscara R-CNN

Segmentação semântica

• DEEPLABV3
• PSPNET

Modelos de fundação

• GRAMPO

Aumento automático de dados

• RangeAuGment
• Autoaugment
• Randagment

Destilação

• Destilação suave
• Destilação dura

Mantenedores

Este código é desenvolvido por Sachin e agora é mantido por Sachin, Maxwell Horton, Mohammad Sekhavat e Yanzi Jin.

Mantenedores anteriores

• Farzad

Esforço de pesquisa na Apple usando cvNets

Abaixo está a lista de publicações da Apple que usa CVNets:

• MobileVit: Transformador de visão leve, de uso geral e amigável para dispositivos móveis, ICLR'22
• CVNets: Biblioteca de alto desempenho para visão computacional, ACM MM'22
• ATAÇÃO SEPARABILIDADE PARA TRANSFORMADORES DE VISÃO MOVEL (MobileVitv2)
• RangeAugment: aumento eficiente online com aprendizado de faixa
• Bytes são tudo o que você precisa: Transformers operando diretamente em bytes de arquivo

Contribuindo para CVNets

Congratulamo -nos com os PRs da comunidade! Você pode encontrar informações sobre como contribuir com CVNets em nosso documento contribuinte.

Lembre -se de seguir nosso código de conduta.

Licença

Para detalhes da licença, consulte a licença.

Citação

Se você achar útil nosso trabalho, cite o seguinte artigo:

 @inproceedings{mehta2022mobilevit,
     title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
     author={Sachin Mehta and Mohammad Rastegari},
     booktitle={International Conference on Learning Representations},
     year={2022}
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}