mmpretrain

Dokumentasi | Instalasi | ? Model Zoo | ? Perbarui Berita | ? Masalah pelaporan

Bahasa Inggris | 简体中文

Perkenalan

MMPretrain adalah kotak alat pra-pelatihan open source berdasarkan Pytorch. Ini adalah bagian dari proyek OpenMmLab.

Cabang main bekerja dengan Pytorch 1.8+ .

Fitur utama

• Berbagai tulang punggung dan model pretrained
• Strategi pelatihan yang kaya (pembelajaran yang diawasi, pembelajaran yang di-swadaya, pembelajaran multi-modal, dll.)
• Tas trik pelatihan
• Konfigurasi pelatihan skala besar
• Efisiensi dan ekstensibilitas tinggi
• Toolkit yang kuat untuk analisis model dan percobaan
• Berbagai tugas inferensi out-of-box.
  • Klasifikasi Gambar
  • Keterangan gambar
  • Pertanyaan visual menjawab
  • Landasan visual
  • Pengambilan (gambar-ke-gambar, teks-ke-gambar, gambar-ke-teks)

mMpretrain.mp4

Apa yang baru

? v1.2.0 dirilis pada 04/01/2023

• Dukung LLAVA 1.5.
• Implement RAM dengan antarmuka gradio.

? v1.1.0 dirilis pada 12/10/2023

• Dukungan Pelatihan Mini-GPT4 dan Menyediakan Model Cina (berdasarkan Baichuan-7b)
• Dukung klasifikasi Zero-shot berdasarkan klip.

? v1.0.0 dirilis pada 04/07/2023

• Dukung inferensi algoritma yang lebih multi-modal , seperti LLAVA , Minigpt-4 , berang-berang , dll.
• Dukung sekitar 10 dataset multi-modal !
• Tambahkan ITPN , percikan algoritma pembelajaran swasembar swadaya.
• Berikan contoh konfigurasi baru dan deep -kecepatan/FSDP dengan FlexibllerNner. Berikut adalah tautan dokumentasi konfigurasi baru dan Deepspeed/FSDP dengan Flexibllerunner.

? Tingkatkan dari mmclassification ke mMpretrain

• Algoritma pembelajaran yang terintegrasi sendiri dari mmselfsup , seperti MAE , Beit , dll.
• Support Riformer , tulang punggung visi yang sederhana namun efektif dengan menghapus mixer token.
• Visualisasi Pipa Dataset Refactor.
• Dukung Levit , XCIT , VIG , ConvNext-V2 , EVA , RevVit , EfficientNetv2 , Clip , Tinyvit dan Backbones MixMim .

Rilis ini memperkenalkan pelatihan & mesin uji baru dan fleksibel, tetapi masih sedang berlangsung. Selamat datang untuk mencoba sesuai dengan dokumentasi.

Dan ada beberapa perubahan pemecahan BC. Silakan periksa tutorial migrasi.

Silakan merujuk ke Changelog untuk detail lebih lanjut dan riwayat rilis lainnya.

Instalasi

Di bawah ini adalah langkah cepat untuk instalasi:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

Silakan merujuk ke dokumentasi instalasi untuk instalasi yang lebih rinci dan persiapan dataset.

Untuk dukungan model multi-modalitas, silakan instal dependensi ekstra dengan:

mim install -e " .[multimodal] " 

Panduan Pengguna

Kami menyediakan serangkaian tutorial tentang penggunaan dasar mMpretrain untuk pengguna baru:

• Pelajari tentang konfigurasi
• Siapkan dataset
• Kesimpulan dengan model yang ada
• Kereta
• Tes
• Tugas hilir

Untuk informasi lebih lanjut, silakan merujuk ke dokumentasi kami.

Model Zoo

Hasil dan model tersedia di kebun binatang model.

Ringkasan

Backbones yang didukung	Pembelajaran yang di-swadaya	Algoritma multi-modalitas	Yang lain
VGG Resnet Resnext SE-RESNET SE-RESNEXT Regnet Shufflenet v1 Shufflenet v2 MobileNet v2 MobileNet v3 Swin-Transformer Swin-Transformer V2 Repvgg Visi-transformer Transformer-in-Transformer Res2net MLP-Mixer Deit Deit-3 Konformer T2t-vit Saudara kembar EfisienNet Edgenext ConvNext Hrnet Van Convmixer Cspnet Poolformer Inception v3 Mobileone Lembaga yang efisien Mvit Pikat MobileVit Davit REPLKNET Beit Mixmim Efisiensinet V2 Revvit ConvNext v2 Vig Xcit Levit Riformer Glip Vit Sam EVA02 Dino v2 Hivit	MOCO V1 (CVPR'2020) Simclr (icml'2020) MOCO V2 (Arxiv'2020) BYOL (Neurips'2020) SWAV (Neurips'2020) Densecl (CVPR'2021) Simsiam (CVPR'2021) Barlow Twins (ICML'2021) MOCO V3 (ICCV'2021) Beit (iclr'2022) Mae (CVPR'2022) SimMim (CVPR'2022) Maskfeat (CVPR'2022) Cae (arxiv'2022) Milan (Arxiv'2022) Beit v2 (arxiv'2022) EVA (CVPR'2023) MixMim (Arxiv'2022) ITPN (CVPR'2023) Spark (iclr'2023) MFF (ICCV'2023)	Blip (arxiv'2022) Blip-2 (Arxiv'2023) OFA (CORR'2022) Flamingo (Neurips'2022) Klip Cina (Arxiv'2022) Minigpt-4 (arxiv'2023) Llava (arxiv'2023) Otter (Arxiv'2023)	Tugas Pengambilan Gambar: Arcface (CVPR'2019) Tips Pelatihan & Tes: Randaug Autoaug REORNAUGSAMPLER Tta ...

Berkontribusi

Kami menghargai semua kontribusi untuk meningkatkan mmpretrain. Silakan merujuk pada kontrubus untuk pedoman yang berkontribusi.

Pengakuan

MMpretrain adalah proyek open source yang disumbangkan oleh para peneliti dan insinyur dari berbagai perguruan tinggi dan perusahaan. Kami menghargai semua kontributor yang mengimplementasikan metode mereka atau menambahkan fitur baru, serta pengguna yang memberikan umpan balik yang berharga. Kami berharap bahwa kotak alat dan tolok ukur dapat melayani komunitas riset yang berkembang dengan menyediakan toolkit yang fleksibel untuk menerapkan kembali metode yang ada dan mendukung penelitian akademik mereka sendiri.

Kutipan

Jika Anda menemukan proyek ini berguna dalam penelitian Anda, silakan pertimbangkan CITE:

 @misc { 2023mmpretrain ,
    title = { OpenMMLab's Pre-training Toolbox and Benchmark } ,
    author = { MMPreTrain Contributors } ,
    howpublished = { url{https://github.com/open-mmlab/mmpretrain} } ,
    year = { 2023 }
}

Lisensi

Proyek ini dirilis di bawah lisensi Apache 2.0.

Proyek di OpenMMLab

• MMengine: Perpustakaan dasar OpenMMLAB untuk melatih model pembelajaran yang mendalam.
• MMCV: Perpustakaan dasar OpenMMLAB untuk visi komputer.
• MIM: MIM menginstal paket OpenMMLAB.
• MMEVAL: Perpustakaan evaluasi terpadu untuk beberapa perpustakaan pembelajaran mesin.
• MMpretrain: OpenMMLAB Pra-Pelatihan Toolbox dan Benchmark.
• MMDETEKSI: OpenMmLab Detection Toolbox and Benchmark.
• MMDETECTION3D: Platform generasi berikutnya OpenMMLAB untuk deteksi objek 3D umum.
• MMRotate: OpenMMLAB Rotated Object Detection Toolbox dan Benchmark.
• MMYOLO: OpenMMLAB YOLO Series Toolbox and Benchmark.
• MMSmentation: OpenMMLAB SEMITIT Segmentation Toolbox dan Benchmark.
• MMOCR: Deteksi Teks OpenMMLAB, Pengakuan, dan Pemahaman Toolbox.
• MMPOSE: OpenMMLAB Pose Estimation Toolbox dan Benchmark.
• MMHUMAN3D: OpenMMLAB 3D Human Parametric Model Toolbox and Benchmark.
• Mmselfsup: OpenMMLAB swasembar swasembar Sendelvised Learning Toolbox and Benchmark.
• MMRAZOR: OpenMMLAB Model Compression Toolbox dan Benchmark.
• MMFEWSHOT: OpenMMLAB Sewshot Learning Toolbox dan Benchmark.
• MMACTION2: OpenMMLAB's Next-Generation Action Memahami Kotak Alat dan Benchmark.
• MMTRACKING: OpenMMLAB Video Persepsi Toolbox and Benchmark.
• MMFLOW: OpenMMLAB Optical Flow Toolbox dan Benchmark.
• Mmagic: buka mm lab a dvanced, g enerative dan i ntelligent c reation Toolbox.
• MMGeneration: OpenMMLAB Gambar dan Video Model Generatif Toolbox.
• MMDeploy: Kerangka Penyebaran Model OpenMMLab.
• Playground: Hub pusat untuk mengumpulkan dan menampilkan proyek -proyek luar biasa yang dibangun di atas OpenMmlab.