train kohya style lora in diffusers

在扩散器中训练kohya-ss风格的洛拉

Kohya-SS Lora和电流扩散器Lora之间的差异（9/29/2023）

与Kohya-SS Lora相比，扩散器的Lora缺少UNET基本转换板的FFN上的Lora，以及Proj_in卷积层的Lora。至于Textencoder，MLP中的LORA在扩散器版本中缺少。这个训练脚本完成了这些缺失的洛拉斯，使其与Kohya-SS Lora相同。

要求

扩散器版本大于0.21.2。因为他们实施了Koyha风格的Lora加载，所以我重复了他们的大部分代码以实施。

培训脚本示例

我只在这里实现Dreambooth Trainig脚本。您可以运行以下命令以开始培训：

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

推理脚本示例

 python inference_text_to_image_lora . py