ml cvnets

CVNETs: Eine Bibliothek für Trainingscomputer -Vision -Netzwerke

CVNETS ist ein Computer-Vision-Toolkit, mit dem Forscher und Ingenieure Standard- und neuartige mobile und nicht mobile Computer-Vision-Modelle für eine Vielzahl von Aufgaben schulen können, einschließlich der Objektklassifizierung, der Objekterkennung, der semantischen Segmentierung und der Fundamentmodelle (z. B. Clip).

Inhaltsverzeichnis

• Was ist neu?
• Installation
• Erste Schritte
• Unterstützte Modelle und Aufgaben
• Betreuer
• Forschungsaufwand bei Apple mit CVNETs
• Beitrag zu CVNETs
• Lizenz
• Zitat

Was ist neu?

• Juli 2023 : Version 0.4 der CVNETS -Bibliothek enthält
  • Bytes sind alles, was Sie brauchen: Transformer, die direkt in Datei -Bytes arbeiten
  • Rangeaugment: Effiziente Online -Augmentation mit Range Learning
  • Trainings- und Bewertung von Grundmodellen (Clip)
  • Mask R-CNN
  • EffizientesNetz, Swin -Transformator und VIT
  • Verbesserte Destillationsunterstützung

Installation

Wir empfehlen, Python 3.10+ und Pytorch (Version> = v1.12.0) zu verwenden.

Anweisungen unten verwenden Sie Conda. Wenn Sie nicht konda installiert sind, können Sie sich ansehen, wie Sie Conda installieren.

 # Clone the repo
git clone [email protected]:apple/ml-cvnets.git
cd ml-cvnets

# Create a virtual env. We use Conda
conda create -n cvnets python=3.10.8
conda activate cvnets

# install requirements and CVNets package
pip install -r requirements.txt -c constraints.txt
pip install --editable . 

Erste Schritte

• Allgemeine Anweisungen zur Arbeit mit CVNETs finden Sie hier.
• Beispiele für das Training und die Bewertung von Modellen finden Sie hier und hier.
• Beispiele für die Konvertierung eines Pytorch -Modells in COREML finden Sie hier.

Unterstützte Modelle und Aufgaben

Um eine Liste der verfügbaren Modelle und Benchmarks anzuzeigen, lesen Sie bitte den Ordner für Modellzoo und Beispiele.

ImageNet -Klassifizierungsmodelle

• CNNs
  • Mobilenetv1
  • Mobilenetv2
  • Mobilenetv3
  • EffizientesNetz
  • Resnet
  • Regnet
• Transformatoren
  • Vision Transformator
  • Mobilevitv1
  • Mobilevitv2
  • SwinTransformer

Multimodale Klassifizierung

• Byteformer

Objekterkennung

• SSD
• Mask R-CNN

Semantische Segmentierung

• Deeptlabv3
• PSPNET

Fundamentmodelle

• Clip

Automatische Datenvergrößerung

• Rangeaugment
• Autoaugment
• Randaugment

Destillation

• Weiche Destillation
• Harte Destillation

Betreuer

Dieser Code wird von Sachin entwickelt und wird nun von Sachin, Maxwell Horton, Mohammad Sekhavat und Yanzi Jin aufrechterhalten.

Vorherige Betreuer

• Farzad

Forschungsaufwand bei Apple mit CVNETs

Im Folgenden finden Sie die Liste der Veröffentlichungen von Apple, die CVNETs verwendet:

• Mobilevit: Leichtes, allgemeines und mobilfreundliches Sehtransformator, ICLR'22
• CVNETs: Hochleistungsbibliothek für Computer Vision, ACM MM'22
• Trennbare Selbstbekämpfung für mobile Vision-Transformatoren (Mobilevitv2)
• Rangeaugment: Effiziente Online -Augmentation mit Range Learning
• Bytes sind alles, was Sie brauchen: Transformer, die direkt in Datei -Bytes arbeiten

Beitrag zu CVNETs

Wir begrüßen PRs aus der Community! Informationen zu CVNETs finden Sie in unserem beitragenden Dokument.

Bitte denken Sie daran, unserem Verhaltenskodex zu folgen.

Lizenz

Lizenzdetails finden Sie unter Lizenz.

Zitat

Wenn Sie unsere Arbeit nützlich finden, zitieren Sie bitte das folgende Papier:

 @inproceedings{mehta2022mobilevit,
     title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
     author={Sachin Mehta and Mohammad Rastegari},
     booktitle={International Conference on Learning Representations},
     year={2022}
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}