ml cvnets

CVNets: una biblioteca para capacitación en redes de visión por computadora

CVNets es un kit de herramientas de visión por computadora que permite a los investigadores e ingenieros capacitar a modelos de visión informática móviles y no móviles estándar y novedosos para una variedad de tareas, incluida la clasificación de objetos, la detección de objetos, la segmentación semántica y los modelos de base (p. Ej., Clip).

Tabla de contenido

• ¿Qué hay de nuevo?
• Instalación
• Empezando
• Modelos y tareas compatibles
• Mantenedores
• Esfuerzo de investigación en Apple utilizando cvnets
• Contribuyendo a cvnets
• Licencia
• Citación

¿Qué hay de nuevo?

• Julio de 2023 : la versión 0.4 de la biblioteca cvnets incluye
  • Los bytes son todo lo que necesita: transformadores que operan directamente en los bytes de archivo
  • Rangeaugment: aumento eficiente en línea con aprendizaje de rango
  • Entrenamiento y evaluación de modelos de base (clip)
  • Máscara R-CNN
  • EficeTnet, Transformador de giro y VIT
  • Soporte de destilación mejorado

Instalación

Recomendamos usar Python 3.10+ y Pytorch (versión> = v1.12.0)

Las instrucciones a continuación usan Conda, si no tiene Conda instalada, puede consultar cómo instalar Conda.

 # Clone the repo
git clone [email protected]:apple/ml-cvnets.git
cd ml-cvnets

# Create a virtual env. We use Conda
conda create -n cvnets python=3.10.8
conda activate cvnets

# install requirements and CVNets package
pip install -r requirements.txt -c constraints.txt
pip install --editable . 

Empezando

• Aquí se dan instrucciones generales para trabajar con CVNets.
• Se proporcionan ejemplos para capacitar y evaluar modelos aquí y aquí.
• Aquí se proporcionan ejemplos para convertir un modelo Pytorch en Coreml.

Modelos y tareas compatibles

Para ver una lista de modelos y puntos de referencia disponibles, consulte la carpeta del zoológico y los ejemplos del modelo.

Modelos de clasificación de Imagenet

• CNNS
  • Mobilenetv1
  • Mobilenetv2
  • Mobilenetv3
  • EficeTnet
  • Resnet
  • Regnet
• Transformadores
  • Transformador de visión
  • Mobilevitv1
  • Mobilevitv2
  • Swintransformer

Clasificación multimodal

• Byteformer

Detección de objetos

• SSD
• Máscara R-CNN

Segmentación semántica

• DeepLabv3
• PSPNET

Modelos de base

• ACORTAR

Aumento de datos automáticos

• Rangeaugment
• Autoaugación
• Randaugación

Destilación

• Destilación suave
• Destilación dura

Mantenedores

Este código es desarrollado por Sachin, y ahora es mantenido por Sachin, Maxwell Horton, Mohammad Sekhavat y Yanzi Jin.

Mantenedores anteriores

• Farzad

Esfuerzo de investigación en Apple utilizando cvnets

A continuación se muestra la lista de publicaciones de Apple que usa CVNets:

• MobileVit: transformador de visión ligero, de propósito general y amigable para dispositivos móviles, ICLR'22
• CVNets: Biblioteca de alto rendimiento para visión por computadora, ACM MM'22
• Autoatención separable para transformadores de visión móvil (mobilvitv2)
• Rangeaugment: aumento eficiente en línea con aprendizaje de rango
• Los bytes son todo lo que necesita: transformadores que operan directamente en los bytes de archivo

Contribuyendo a cvnets

¡Damos la bienvenida a PRS de la comunidad! Puede encontrar información sobre cómo contribuir a CVNets en nuestro documento contribuyente.

Recuerde seguir nuestro código de conducta.

Licencia

Para detalles de la licencia, consulte la licencia.

Citación

Si encuentra útil nuestro trabajo, cite el siguiente documento:

 @inproceedings{mehta2022mobilevit,
     title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
     author={Sachin Mehta and Mohammad Rastegari},
     booktitle={International Conference on Learning Representations},
     year={2022}
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}