train kohya style lora in diffusers

在擴散器中訓練kohya-ss風格的洛拉

Kohya-SS Lora和電流擴散器Lora之間的差異（9/29/2023）

與Kohya-SS Lora相比，擴散器的Lora缺少UNET基本轉換板的FFN上的Lora，以及Proj_in卷積層的Lora。至於Textencoder，MLP中的LORA在擴散器版本中缺少。這個訓練腳本完成了這些缺失的洛拉斯，使其與Kohya-SS Lora相同。

要求

擴散器版本大於0.21.2。因為他們實施了Koyha風格的Lora加載，所以我重複了他們的大部分代碼以實施。

培訓腳本示例

我只在這裡實現Dreambooth Trainig腳本。您可以運行以下命令以開始培訓：

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

推理腳本示例

 python inference_text_to_image_lora . py