ml cvnets

CVNETS: Perpustakaan untuk melatih jaringan visi komputer

CVNETS adalah toolkit visi komputer yang memungkinkan para peneliti dan insinyur untuk melatih model visi komputer seluler dan non-seluler dan novel untuk berbagai tugas, termasuk klasifikasi objek, deteksi objek, segmentasi semantik, dan model pondasi (mis. Klip).

Daftar isi

• Apa yang baru?
• Instalasi
• Memulai
• Model dan tugas yang didukung
• Pemelihara
• Upaya Penelitian Apple Menggunakan CVNets
• Berkontribusi pada CVNET
• Lisensi
• Kutipan

Apa yang baru?

• Juli 2023 : Versi 0.4 dari Perpustakaan CVNets Termasuk
  • Byte adalah semua yang Anda butuhkan: Transformers yang beroperasi langsung pada byte file
  • RangeAgment: Augmentasi online yang efisien dengan range learning
  • Model Pelatihan dan Mengevaluasi Yayasan (Klip)
  • Topeng R-CNN
  • Efisiensi, transformator swin, dan vit
  • Dukungan distilasi yang ditingkatkan

Instalasi

Kami merekomendasikan untuk menggunakan Python 3.10+ dan Pytorch (Versi> = V1.12.0)

Instruksi di bawah ini Gunakan conda, jika Anda tidak menginstal Conda, Anda dapat memeriksa cara menginstal Conda.

 # Clone the repo
git clone [email protected]:apple/ml-cvnets.git
cd ml-cvnets

# Create a virtual env. We use Conda
conda create -n cvnets python=3.10.8
conda activate cvnets

# install requirements and CVNets package
pip install -r requirements.txt -c constraints.txt
pip install --editable . 

Memulai

• Instruksi umum untuk bekerja dengan CVNET diberikan di sini.
• Contoh untuk pelatihan dan evaluasi model disediakan di sini dan di sini.
• Contoh untuk mengonversi model Pytorch ke coreml disediakan di sini.

Model dan tugas yang didukung

Untuk melihat daftar model dan tolok ukur yang tersedia, silakan merujuk ke Folder Model Zoo dan Contoh.

Model Klasifikasi ImageNet

• CNNS
  • MobileNetv1
  • MobileNetv2
  • MobileNetv3
  • EfisienNet
  • Resnet
  • Regnet
• Transformer
  • Transformator Visi
  • MOBILEVITV1
  • MOBILEVITV2
  • Swintransformer

Klasifikasi Multimodal

• Byteformer

Deteksi Objek

• SSD
• Topeng R-CNN

Segmentasi semantik

• Deeplabv3
• Pspnet

Model Yayasan

• KLIP

Augmentasi data otomatis

• Rangeaugment
• Autoaugment
• Randaugment

Distilasi

• Distilasi lembut
• Distilasi yang lebih keras

Pemelihara

Kode ini dikembangkan oleh Sachin, dan sekarang dikelola oleh Sachin, Maxwell Horton, Mohammad Sekhavat, dan Yanzi Jin.

Pemelihara sebelumnya

• Farzad

Upaya Penelitian Apple Menggunakan CVNets

Di bawah ini adalah daftar publikasi dari Apple yang menggunakan CVNET:

• MobileVit: Transformator penglihatan ringan, serba guna, dan ramah seluler, ICLR'22
• CVNET: Perpustakaan Kinerja Tinggi untuk Visi Komputer, ACM MM'22
• Perhatian diri yang dapat dipisahkan untuk transformator visi seluler (MobileVitv2)
• RangeAgment: Augmentasi online yang efisien dengan range learning
• Byte adalah semua yang Anda butuhkan: Transformers yang beroperasi langsung pada byte file

Berkontribusi pada CVNET

Kami menyambut PR dari komunitas! Anda dapat menemukan informasi tentang berkontribusi pada CVNET dalam dokumen berkontribusi kami.

Harap ingat untuk mengikuti kode perilaku kami.

Lisensi

Untuk detail lisensi, lihat lisensi.

Kutipan

Jika Anda menganggap pekerjaan kami bermanfaat, silakan kutip makalah berikut:

 @inproceedings{mehta2022mobilevit,
     title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
     author={Sachin Mehta and Mohammad Rastegari},
     booktitle={International Conference on Learning Representations},
     year={2022}
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}