Descargar SDFT - Descargar código fuente SDFT

SDFT

Código Fuente de IA

1.0.0

Descargar

Sdft

Descripción general

SDFT es un proyecto de autoeducación, con el objetivo de obtener técnicas de ajuste fino de difusión estable principal. La implementación de difusión estable se toma de la biblioteca de difusores de Huggingface.

Técnicas para descripción general:

Adaptación de bajo rango
Inversión textual
Dreambooth

Tabla de contenido

Descripción general
Conjunto de datos
Técnicas

Conjunto de datos

Todas las técnicas de ajuste se realizaron en un conjunto de datos de juguetes construido a mano llamado "Dark Fantasy". El conjunto de datos se recopiló utilizando indicaciones de grano fino con el modelo de difusión estable XL Base-0-0-0 desde estabilidadi para generar imágenes de forma oscura en forma de fantasía en un estilo que recuerda a los años setenta y ochenta. El objetivo es demostrar cómo todas las técnicas funcionan en este conjunto de datos.

El conjunto de datos se puede encontrar en los datasets/ directorio.

Técnicas

Lora

Uso

Para ajustar SDXL con Lora:

accelerate launch train_lora_sdxl.py 
    --pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0 
    --pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix 
    --allow_tf32 
    --mixed_precision= " fp16 " 
    --rank=32 
    --train_data_dir=datasets/dark_fantasy/ 
    --caption_column= " text " 
    --dataloader_num_workers=16 
    --resolution=512 
    --use_center_crop 
    --use_random_flip 
    --train_batch_size=2 
    --gradient_accumulation_steps=4 --gradient_checkpointing 
    --max_train_steps=1500 
    --learning_rate=1e-04 
    --max_grad_norm=5 
    --lr_scheduler= " cosine_with_restarts " 
    --lr_warmup_steps=100 
    --output_dir=runs/lora_run/ 
    --checkpointing_steps=100 
    --validation_epochs=10 
    --num_validation_images=4 
    --save_images_on_disk 
    --validation_prompt= " A picture of a misterious figure in cape, back view. " 
    --logging_dir= " logs " 
    --seed=1337

Para ejecutar inferencia con Lora Checkpoint:

accelerate launch run_lora_inference.py 
    --pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0 
    --pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix 
    --output_dir=runs/lora_v1/ 
    --lora_checkpoint_path=runs/lora_run/checkpoint-100/ 
    --resolution=1024 
    --num_images_to_generate=5 
    --guidance_scale=5.0 
    --num_inference_steps=40 
    --prompt= " A picture of a misterious figure in cape, back view. " 
    --negative_prompt= " logo, watermark, text, blurry " 
    --seed=1337

Resultados

No Lora - Lora Comparación de imágenes. Se generaron pares de imágenes utilizando los mismos latentes.

"A picture of a heavy red Kenworth truck riding in the night across the abanoned city streets."

"A picture of a wounded orc warrior, climbing in misty mountains, front view, exhausted face, looking at the camera."

"A picture of space rocket launching, Earth on the background, candid photo."

"A picture of a supermassive black hole, devouring the galaxy, cinematic picture"

"A picture of a human woman warrior, black hair, looking at the camera, front view."

Inversión textual

Uso

Para ajustar SDXL con inversión textual (TI):

accelerate launch train_ti_sdxl.py 
    --pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0 
    --pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix 
    --allow_tf32 
    --mixed_precision= " fp16 " 
    --train_data_dir=datasets/skull 
    --learnable_property= " style " 
    --placeholder_token= " <skull_lamp> " 
    --initializer_token= " skull " 
    --num_vectors=8 
    --resolution=1024 
    --repeats=1 
    --train_batch_size=2 
    --gradient_accumulation_steps=4 --gradient_checkpointing 
    --max_train_steps=5000 
    --learning_rate=3e-3 
    --lr_scheduler= " piecewise_constant " 
    --lr_warmup_steps=30 
    --output_dir= " runs/ti_run " 
    --validation_prompt= " A painting of Eiffel tower in the style of <skull_lamp> " 
    --num_validation_images=4 
    --validation_steps=100 
    --embeddings_save_steps=500 
    --save_images_on_disk 
    --use_random_flip 
    --use_center_crop 
    --seed=1337

Para ejecutar inferencia con incrustaciones TI entrenadas:

accelerate launch run_ti_inference.py 
    --pretrained_model_name_or_path=stabilityai/stable-diffusion-xl-base-1.0 
    --pretrained_vae_model_name_or_path=madebyollin/sdxl-vae-fp16-fix 
    --output_dir=runs/ti_run 
    --path_to_embeddings=runs/ti_run/ti-embeddings-final.safetensors 
    --resolution=1024 
    --num_images_to_generate=1 
    --guidance_scale=5.0 
    --num_inference_steps=50 
    --placeholder_token= " <skull_lamp> " 
    --prompt= " A <skull_lamp>, made of lego " 
    --negative_prompt= " logo, watermark, text, blurry, bad quality " 
    --seed=1337

Resultados

Sin comparación de imágenes TI - TI. Se generaron pares de imágenes utilizando los mismos latentes.

Nota : Dado que el conjunto de datos de capacitación consta de 5 imágenes solo con subtítulos predeterminados, los resultados no son tan inspiradores, pero la introducción de subtítulos más fieles lo haría mucho mejor.