UniDiffusion

Unidiffusion

Navigasi ayat uni dari model difusi dengan alur kerja uni fied.

Perkenalan

Unidiffusion adalah kotak alat yang menyediakan pelatihan canggih dan algoritma inferensi, berdasarkan diffuser. Unidiffusion ditujukan untuk para peneliti dan pengguna yang ingin menyesuaikan pelatihan difusi yang stabil. Kami berharap repositori kode ini dapat memberikan dukungan yang sangat baik untuk ekstensi penelitian dan aplikasi di masa depan.

Jika Anda juga ingin menerapkan hal -hal berikut, bersenang -senanglah dengan Unidiffusion

• Latih hanya cross attention (atau convolution / feedforward / ...).
• Atur lr / weight decay / ... untuk lapisan yang berbeda.
• Menggunakan atau mendukung metode PEFT/PETL untuk lapisan yang berbeda dan dengan mudah menggabungkannya, misalnya, finetune lapisan konvolusi dan perbarui lapisan perhatian dengan Lora.
• Latih semua parameter dalam difusi yang stabil, termasuk Unet, VAE, Text_encoder, dan secara otomatis menyimpan dan memuat.

Catatan: Unidiffusion masih dalam pengembangan. Beberapa modul dipinjam dari repositori kode lain dan belum diuji, terutama komponen yang tidak diaktifkan secara default dalam sistem konfigurasi. Kami bekerja keras untuk meningkatkan proyek ini.

Fitur

• Desain Modular . Unidiffusion dirancang dengan arsitektur modular. Desain modular memungkinkan implementasi metode baru yang mudah.
• Sistem konfigurasi . Sistem LazyConfig untuk sintaksis yang lebih fleksibel dan file konfigurasi yang lebih bersih.
• Mudah digunakan .
  • Pelatihan Terdistribusi : Menggunakan Accelerate untuk mendukung semua lingkungan pelatihan terdistribusi.
  • Eksperimen Pelacak : Menggunakan Wandb untuk mencatat semua informasi pelatihan.
  • Evaluasi Terdistribusi : Mengevaluasi ✅FID, ✅IS, skor klip selama pelatihan

Alur kerja pelatihan terpadu

Dalam Unidiffusion, semua metode pelatihan didekomposisi menjadi tiga dimensi

• Parameter yang Dapat Dipelajari : Lapisan mana atau modul mana yang akan diperbarui.
• Metode PEFT/PETL : Cara memperbaruinya. Misalnya, finetune, adaptasi rendah, adaptor, dll.
• Proses Pelatihan : Default untuk Denoising Diffuion, yang dapat diperpanjang seperti XTI.

Ini memungkinkan kami melakukan pipa pelatihan terpadu dengan sistem konfigurasi yang kuat.

Contoh untuk perbedaan dalam alur kerja pelatihan dari basis kode lain.

Ini adalah contoh sederhana. Dalam Diffusers, melatih text-to-image finetune dan dreambooth seperti:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

dan menggabungkan atau menyesuaikan beberapa metode itu sulit (misalnya, hanya melatih perhatian silang selama Dreambooth).

Di Unidiffusion, kami dapat dengan mudah merancang argumen pelatihan kami sendiri dalam file config:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

dan kemudian lari

accelerate launch scripts/train.py --config-file /path/to/your/config

Ini memfasilitasi kustomisasi, kombinasi, dan peningkatan metode yang lebih mudah, dan juga memungkinkan untuk perbandingan persamaan dan perbedaan antara metode melalui file konfigurasi.

Pencocokan reguler untuk pemilihan modul

Di Unidiffusion, kami menyediakan sistem pencocokan reguler untuk pemilihan modul. Ini memungkinkan kami untuk memilih modul dengan pencocokan reguler. Lihat pencocokan reguler untuk pemilihan modul untuk detail lebih lanjut.

Dukungan yang kuat untuk metode PEFT/PETL

Kami memberikan dukungan yang kuat untuk metode PEFT/PETL. Lihat metode PEFT/PETL untuk lebih jelasnya.

? Instalasi

1. Pasang prasyarat

• Python 3.10
• Pytorch 2.0 + Cuda11.8
• Cudnn

2. Pasang persyaratan

pip install -e requirements.txt

3. Mengkonfigurasi Accelerate dan Wandb

accelerate config
wandb login

? Memulai

Lihat Kereta Inversi Tekstual / Dreambooth / Lora / Text-to-Image Finetune untuk detailnya.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Demo terperinci

1. Latih inversi tekstual / dreambooth / lora / finetune teks-ke-gambar.
2. Kustomisasi proses pelatihan Anda.

[Melakukan] tutorial

1. [TODO] Mendukung dataset baru.
2. [TODO] Mendukung metode PETL baru.
3. [TODO] Mendukung pipa pelatihan baru.

? Model Zoo

Metode personalisasi yang didukung

• finetune teks-ke-gambar
• Dreambooth
• Lora
• inversi tekstual
• Xti
• Difusi khusus

CATATAN: Metode personalisasi terurai dalam parameter yang dapat dilatih, metode PEFT/PETL, dan proses pelatihan di Unidiffusion. Lihat file konfigurasi untuk detail lebih lanjut.

Metode PEFT/PETL yang didukung

• finetune
• Lora
• Repadapter

Todo

Kami akan menambahkan fitur -fitur berikut di masa mendatang. Kami juga menyambut kontribusi dari komunitas. Jangan ragu untuk menarik permintaan atau membuka masalah untuk membahas ide -ide untuk fitur baru.

• Metode :
  • Pelestarian Priors Semantic Kelas (Dreambooth).
  • XTI & Difusi Kustom.
  • Repadapter dan Lycoris.
• Fitur :
  • Gabungkan Peft ke Model Asli.
  • Konversi model menjadi diffusers dan format webui.
  • Ekstensi Webui.

Kontribusi

Kami menyambut kontribusi dari komunitas open-source!

Mengakui

• Difusion Trainer dibangun berdasarkan diffuser.
• Banyak desain modul dipinjam dari Detectron2 dan Detrex.
• Beberapa implementasi metode dipinjam dari diffuser dan lycoris.

Kutipan

Jika Anda menggunakan kotak alat ini dalam penelitian Anda atau ingin merujuk ke hasil dasar yang diterbitkan di sini, silakan gunakan entri Bibtex berikut:

• Mengutip Unidiffusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Kutipan Algoritma yang Didukung

Segera datang