train kohya style lora in diffusers

디퓨저에서 코히아 -SS 스타일 로라를 훈련시킵니다

Kohya-SS Lora와 현재 확산기 Lora의 차이 (9/29/2023)

Kohya-SS Lora와 비교할 때, Diffusers의 Lora는 UNET의 BasicTransformerBlock의 FFN에 LORA와 Proj_in의 컨볼 루션 층의 LORA를 놓치고 있습니다. TextEncoder의 경우 MLP의 LORA가 Diffusers 버전으로 누락되었습니다. 이 교육 스크립트는 이러한 누락 된 로라를 완성하므로 Kohya-SS Lora와 동일합니다.

요구 사항

디퓨저 버전 0.21.2보다 큰 버전. 그들은 Koyha 스타일 Lora로드를 구현했기 때문에 대부분의 코드를 구현을 위해 재사용했습니다.

훈련 스크립트 예제

여기에서 Dreambooth Trainig 스크립트 만 구현합니다. 다음 명령을 실행하여 교육을 시작할 수 있습니다.

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

추론 스크립트 예제

 python inference_text_to_image_lora . py