train kohya style lora in diffusers

Train Kohya-SS Style Lora dans les diffuseurs

Différence entre Kohya-SS Lora et les diffuseurs de courant Lora (9/29/2023)

Par rapport à Kohya-SS LORA, Lora de Diffusers manque la LORA sur le FFN du BasicTransformmerBlock dans Unet, ainsi que la LORA sur la couche de convolution de ProJ_IN. Quant au TextEncoder, la LORA dans le MLP est manquante dans la version des diffuseurs. Ce script de formation complète ces loras manquants, ce qui le rend identique à Kohya-SS Lora.

Exigences

Version des diffuseurs supérieure à 0,21,2. Parce qu'ils ont implémenté le chargement de Lora de style Koyha, j'ai réutilisé la majeure partie de leur code pour mon implémentation.

Exemple de script de formation

Je n'implémente que Dreambooth Trainig Script ici. Vous pouvez exécuter la commande suivante pour commencer la formation:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

Exemple de script d'inférence

 python inference_text_to_image_lora . py