train kohya style lora in diffusers

ディフューザーでKohya-SSスタイルのロラを訓練します

Kohya-SS Loraと現在のディフューザーLoraの違い（9/29/2023）

Kohya-SS Loraと比較して、Diffusers 'LoraはUNETのBasic TransformerblockのFFN上のLoraと、Proj_inの畳み込み層のLoraを欠いています。 TextenCoderに関しては、MLPのLORAがDiffusersのバージョンではありません。このトレーニングスクリプトは、これらの不足しているロラを完成させ、Kohya-ss Loraと同じにします。

要件

0.21.2を超えるDiffusersバージョン。彼らはKoyhaスタイルのLoraロードを実装したため、私は彼らのコードのほとんどを私の実装のために再び再利用しました。

トレーニングスクリプトの例

ここではDreamBooth Trainigスクリプトのみを実装しています。次のコマンドを実行してトレーニングを開始できます。

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

推論スクリプトの例

 python inference_text_to_image_lora . py