train kohya style lora in diffusers

Обучить стиль Kohya-Ss Lora в диффузорах

Разница между Кохья-Сс Лора и текущими диффузорами Лора (29.09.2023)

По сравнению с Kohya-Ss Lora, Lora's Diffusers не хватает Lora на FFN базового трансформатора в УНЕТ, а также на Лоре на слое Proj_in. Что касается Textencoder, Lora в MLP отсутствует в версии диффузоров. Этот тренировочный сценарий завершает эти пропущенные лора, что делает его идентичным Kohya-Ss Lora.

Требования

Версия диффузоров больше 0,21,2. Поскольку они реализовали загрузку LORA в стиле Койха, я повторно использовал большую часть их кода для своей реализации.

Пример учебного сценария

Я только реализую сценарий Dreambooth Trainig здесь. Вы можете запустить следующую команду, чтобы начать обучение:

 export MODEL_NAME= " runwayml/stable-diffusion-v1-5 "
export INSTANCE_DIR= " <your image folder> "
export OUTPUT_DIR= " output/<output folder> "

accelerate launch train_dreambooth_lora.py 
  --pretrained_model_name_or_path= $MODEL_NAME  
  --instance_data_dir= $INSTANCE_DIR 
  --output_dir= $OUTPUT_DIR 
  --instance_prompt= " a photo of sks dog " 
  --resolution=512 
  --train_batch_size=1 
  --gradient_accumulation_steps=1 
  --checkpointing_steps=100 
  --learning_rate=1e-4 
  --lr_scheduler= " constant " 
  --lr_warmup_steps=0 
  --max_train_steps=5000 
  --validation_prompt= " A close potrait of sks dog " 
  --validation_epochs=50 
  --train_text_encoder 
  --seed= " 0 " 

Пример сценария вывода

 python inference_text_to_image_lora . py