sd lora trainer

Pelatih

Pelatih ini dikembangkan oleh tim Eden , Anda dapat mencoba versi pelatih kami yang di -host di aplikasi kami . Ini adalah pelatih yang sangat dioptimalkan yang dapat digunakan untuk modul Finetuning penuh dan pelatihan Lora di atas difusi stabil. Ini menggunakan satu skrip pelatihan dan modul kerugian yang berfungsi untuk SDV15 dan SDXL !

Output pelatih ini sepenuhnya kompatibel dengan comfyui dan auto111, lihat dokumentasi di sini. Panduan lengkap tentang pelatihan dapat ditemukan di dokumen kami .

Gambar pelatihan:

IMG yang dihasilkan dengan Lora terlatih:

Pelatih dapat dijalankan dalam 4 cara berbeda:

• Sebagai layanan yang di -host di situs web kami
• Sebagai layanan yang di -host melalui replikasi
• Sebagai simpul comfyui
• Sebagai skrip Python mandiri

Menggunakan di comfyui:

• Contoh alur kerja untuk cara menjalankan pelatih dan melakukan inferensi dengannya dapat ditemukan di /ComfyUI_workflows
• Yang penting pelatih ini menggunakan panggilan chatgpt untuk membersihkan petunjuk yang dihasilkan secara otomatis dan menyuntikkan token yang dapat dilatih, ini hanya akan berfungsi jika Anda memiliki file .env yang berisi kunci openai Anda di akar mod repo yang berisi satu baris: OPENAI_API_KEY=your_key_string semuanya akan berfungsi tanpa ini, tetapi hasilnya akan lebih baik jika Anda mengatur hal ini, terutama untuk ini, 'OpenAI_APY = YOUSKEY_string'

Pelatih mendukung 3 mode default:

• Gaya : Digunakan untuk mempelajari gaya estetika dari kumpulan gambar.
• Wajah : Digunakan untuk mempelajari wajah tertentu (bisa menjadi manusia, karakter, ...).
• Objek : Akan mempelajari objek atau hal tertentu yang ditampilkan dalam gambar pelatihan.

Contoh Pelatihan Gaya:

Pengaturan

Instal semua dependensi menggunakan

pip install -r requirements.txt

maka Anda bisa menjalankan:

python main.py train_configs/training_args.json untuk memulai pekerjaan pelatihan.

Sesuaikan argumen di dalam training_args.json untuk mengatur pekerjaan pelatihan khusus.

---

Anda juga dapat menjalankan ini melalui replikasi menggunakan COG (~ gambar Docker):

1. Instal Replicate 'Cog':

 sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

2. Bangun gambar dengan cog build
3. Jalankan pelatihan dengan sh cog_test_train.sh
4. Anda juga bisa masuk ke wadah dengan cog run /bin/bash

Finetuning tanpa batas penuh

Saat menjalankan pelatih ini dengan python asli, Anda juga dapat melakukan finetuning tanpa -tidak menggunakan sesuatu seperti (menyesuaikan dengan kebutuhan Anda) python main.py train_configs/full_finetuning_example.json

Todo's

Bug:

• Inversi tekstual murni untuk SD15 tampaknya tidak bekerja dengan baik ... (tapi bekerja dengan sangat baik untuk SDXL ...) ---> Jika ada yang bisa mengetahui hal ini, saya akan selamanya berterima kasih!
• Cari tahu mengapa pelatihan 3x lebih lambat melalui node comfyui versus hanya menjalankan main.py sebagai pekerjaan python ..?
• Perbaiki bucketing aspek_ratio di dataloader (lihat https://github.com/kohya-ss/sd-scripts)

Perbaikan yang lebih besar:

• mengintegrasikan fluks / sd3
• Tambahkan pelatihan multi-konsep (banyak hal yang diwakili oleh banyak token, dilatih menjadi satu lora)
• Tambahkan Token Stregurisasi yang lebih kuat (misalnya Celebbasis Spanning)
• Implementasikan ide perfusi (kunci kunci dengan superclass): https://research.nvidia.com/labs/par/perfusion/
• Menerapkan prompt-aligned: https://promppt-ligned.github.io/