train kohya style lora in diffusers

Latih gaya kohya-ss lora dalam diffuser

Perbedaan antara Kohya-SS Lora dan Diffusers Lora saat ini (9/29/2023)

Dibandingkan dengan Kohya-SS Lora, diffusers 'Lora kehilangan Lora pada FFN dari BasicTransformerblock di UNET, serta LORA pada lapisan konvolusi ProJ_in. Sedangkan untuk Textencoder, LORA di MLP hilang dalam versi diffusers. Skrip pelatihan ini melengkapi Loras yang hilang ini, membuatnya identik dengan Kohya-SS Lora.

Persyaratan

Versi diffusers lebih besar dari 0,21,2. Karena mereka menerapkan pemuatan Lora gaya Koyha, saya menggunakan kembali sebagian besar kode mereka untuk implementasi saya.

Contoh skrip pelatihan

Saya hanya menerapkan skrip pelatihan Dreambooth di sini. Anda dapat menjalankan perintah berikut untuk memulai pelatihan:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

Contoh skrip inferensi

 python inference_text_to_image_lora . py