train kohya style lora in diffusers

Trainieren Sie den Kohya-SS-Stil Lora in Diffusoren

Unterschied zwischen Kohya-SS Lora und Stromdiffusoren Lora (29.09.2023)

Im Vergleich zu Kohya-SS Lora fehlt die Lora von Diffusorers die Lora auf der FFN des BasicTransformerBlocks in UNET sowie die Lora auf der Faltungsschicht von proj_in. Der Textcoder fehlt in der Version von Diffusoren die Lora in der Version von Diffusoren. Dieses Trainingsskript vervollständigt diese fehlenden Loras und macht es mit Kohya-SS Lora identisch.

Anforderungen

Diffusorenversion größer als 0,21,2. Da sie das LaDing Lora im Koyha-Stil implementiert haben, habe ich den größten Teil ihres Codes für meine Implementierung wiederverwendet.

Beispiel für Trainingsskript

Ich implementiere hier nur Dreambooth Trainig -Skript. Sie können den folgenden Befehl ausführen, um mit dem Training zu beginnen:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

Beispiel für Inferenzskript

 python inference_text_to_image_lora . py