train kohya style lora in diffusers

ฝึก Lora สไตล์ Kohya-SS ใน diffusers

ความแตกต่างระหว่าง Kohya-SS Lora และ diffusers ปัจจุบัน Lora (9/29/2023)

เมื่อเปรียบเทียบกับ Kohya-SS Lora, Diffusers 'Lora หายไปจาก LORA บน FFN ของ BasicTransformerBlock ใน UNET เช่นเดียวกับ LORA บนชั้น convolution ของ proj_in สำหรับ TextEncoder LORA ใน MLP หายไปในเวอร์ชัน diffusers ' สคริปต์การฝึกอบรมนี้ทำให้ Loras หายไปเหล่านี้ทำให้มันเหมือนกับ Kohya-SS Lora

ความต้องการ

รุ่น diffusers มากกว่า 0.21.2 เนื่องจากพวกเขาใช้การโหลด Lora สไตล์ Koyha ฉันจึงนำรหัสส่วนใหญ่ของพวกเขากลับมาใช้ใหม่สำหรับการใช้งานของฉัน

ตัวอย่างสคริปต์การฝึกอบรม

ฉันใช้สคริปต์ Dreambooth Trainig ที่นี่เท่านั้น คุณสามารถเรียกใช้คำสั่งต่อไปนี้เพื่อเริ่มการฝึกอบรม:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

ตัวอย่างสคริปต์การอนุมาน

 python inference_text_to_image_lora . py