train kohya style lora in diffusers

Train Kohya-Ss Style Lora en difusores

Diferencia entre Kohya-SS Lora y los difusores de corriente Lora (9/29/2023)

En comparación con Kohya-SS Lora, la Lora de Diffusers le falta el Lora en el FFN del BasicTransformerBlock en UneT, así como el Lora en la capa de convolución de Proj_in. En cuanto al TextIngoder, el Lora en el MLP falta en la versión de difusores. Este guión de entrenamiento completa estas loras faltantes, lo que lo hace idéntico a Kohya-SS Lora.

Requisitos

Versión de difusores superiores a 0.21.2. Debido a que implementaron la carga de lora al estilo Koyha, reutilé la mayor parte de su código para mi implementación.

Ejemplo de guión de entrenamiento

Solo implemento el guión de DreamBooth Trainig aquí. Puede ejecutar el siguiente comando para comenzar la capacitación:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

Ejemplo de script de inferencia

 python inference_text_to_image_lora . py