SDFT
1.0.0
Le SDFT est un projet auto-éducatif, visant à visiter les principales techniques de réglage de diffusion stable. L'implémentation de diffusion stable est tirée de la bibliothèque de diffuseurs HuggingFace.
Techniques à aperçu:
Toutes les techniques de réglage fin ont été effectuées sur un ensemble de données de jouets construit à la main nommé "Dark Fantasy". L'ensemble de données a été collecté en utilisant des invites à grain fin avec le modèle stable de diffusion XL Base-1.0 de Stabilityai pour générer des images de type sombre et de type Fantasy dans un style rappelant les années 1970 et 1980. L'objectif est de démontrer comment toutes les techniques décrites fonctionnent sur cet ensemble de données.
L'ensemble de données a pu être trouvé sous les datasets/ répertoire.
Pour affiner Sdxl avec Lora:
accelerate launch train_lora_sdxl.py
--pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0
--pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix
--allow_tf32
--mixed_precision= " fp16 "
--rank=32
--train_data_dir=datasets/dark_fantasy/
--caption_column= " text "
--dataloader_num_workers=16
--resolution=512
--use_center_crop
--use_random_flip
--train_batch_size=2
--gradient_accumulation_steps=4 --gradient_checkpointing
--max_train_steps=1500
--learning_rate=1e-04
--max_grad_norm=5
--lr_scheduler= " cosine_with_restarts "
--lr_warmup_steps=100
--output_dir=runs/lora_run/
--checkpointing_steps=100
--validation_epochs=10
--num_validation_images=4
--save_images_on_disk
--validation_prompt= " A picture of a misterious figure in cape, back view. "
--logging_dir= " logs "
--seed=1337Pour exécuter l'inférence avec le point de contrôle LORA:
accelerate launch run_lora_inference.py
--pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0
--pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix
--output_dir=runs/lora_v1/
--lora_checkpoint_path=runs/lora_run/checkpoint-100/
--resolution=1024
--num_images_to_generate=5
--guidance_scale=5.0
--num_inference_steps=40
--prompt= " A picture of a misterious figure in cape, back view. "
--negative_prompt= " logo, watermark, text, blurry "
--seed=1337Pas de comparaison Lora - Lora Images. Des paires d'images ont été générées en utilisant les mêmes lameurs.
"A picture of a heavy red Kenworth truck riding in the night across the abanoned city streets."
"A picture of a wounded orc warrior, climbing in misty mountains, front view, exhausted face, looking at the camera."
"A picture of space rocket launching, Earth on the background, candid photo."
"A picture of a supermassive black hole, devouring the galaxy, cinematic picture"
"A picture of a human woman warrior, black hair, looking at the camera, front view."
Pour affiner SDXL avec inversion textuelle (TI):
accelerate launch train_ti_sdxl.py
--pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0
--pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix
--allow_tf32
--mixed_precision= " fp16 "
--train_data_dir=datasets/skull
--learnable_property= " style "
--placeholder_token= " <skull_lamp> "
--initializer_token= " skull "
--num_vectors=8
--resolution=1024
--repeats=1
--train_batch_size=2
--gradient_accumulation_steps=4 --gradient_checkpointing
--max_train_steps=5000
--learning_rate=3e-3
--lr_scheduler= " piecewise_constant "
--lr_warmup_steps=30
--output_dir= " runs/ti_run "
--validation_prompt= " A painting of Eiffel tower in the style of <skull_lamp> "
--num_validation_images=4
--validation_steps=100
--embeddings_save_steps=500
--save_images_on_disk
--use_random_flip
--use_center_crop
--seed=1337 Pour courir l'inférence avec les intégres TI formés:
accelerate launch run_ti_inference.py
--pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0
--pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix
--output_dir=runs/ti_run
--path_to_embeddings=runs/ti_run/ti-embeddings-final.safetensors
--resolution=1024
--num_images_to_generate=1
--guidance_scale=5.0
--num_inference_steps=50
--placeholder_token= " <skull_lamp> "
--prompt= " A <skull_lamp>, made of lego "
--negative_prompt= " logo, watermark, text, blurry, bad quality "
--seed=1337Pas de comparaison d'images ti - ti. Des paires d'images ont été générées en utilisant les mêmes lameurs.
Remarque : Étant donné que l'ensemble de données de formation se compose de 5 images uniquement avec les légendes par défaut, les résultats ne sont pas si inspirants, mais l'introduction de légendes plus fines serait-elle beaucoup meilleure.
"A <skull_lamp>, made of lego."
"A painting of Eiffel tower in the style of <skull_lamp>."
"A painting of the great pyramids in the style of <skull_lamp>."
"An oil painting of a skyscraper in the style of <skull_lamp>."
"The painting of a mug in the style of <skull_lamp>."
