LECO

Leco ✏️

Niedrige Anpassung zum Löschen von Konzepten aus Diffusionsmodellen.

Das ursprüngliche Repository: Konzepte aus Diffusionsmodellen löschen

und die Projektseite: https://erasing.baulab.info/

(Nicht nur zum Löschen von Konzepten, sondern auch zum Betonieren oder Austausch, indem Sie Aufforderungen und Lora -Gewicht entwickeln. Weitere Informationen finden Sie in Conceptmod)

Aufstellen

conda create -n leco python=3.10
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install xformers
pip install -r requirements.txt

Zug

Sie benötigen mindestens 8 GB VRAM.

python ./train_lora.py --config_file " ./examples/config.yaml "

config.yaml :

 prompts_file : " ./prompts.yaml "

pretrained_model :
  name_or_path : " stabilityai/stable-diffusion-2-1 " # you can also use .ckpt or .safetensors models
  v2 : true # true if model is v2.x
  v_pred : true # true if model uses v-prediction

network :
  type : " lierla " # or "c3lier"
  rank : 4
  alpha : 1.0

train :
  precision : " bfloat16 "
  noise_scheduler : " ddim " # or "ddpm", "lms", "euler_a"
  iterations : 500
  lr : 1e-4
  optimizer : " AdamW "
  lr_scheduler : " constant "

save :
  name : " van_gogh "
  path : " ./output "
  per_steps : 200
  precision : " bfloat16 "

logging :
  use_wandb : false
  verbose : false

other :
  use_xformers : true

prompts.yaml :

- target : " van gogh " # what word for erasing the positive concept from
  positive : " van gogh " # concept to erase
  unconditional : " " # word to take the difference from the positive concept
  neutral : " " # starting point for conditioning the target
  action : " erase " # erase or enhance
  guidance_scale : 1.0
  resolution : 512
  dynamic_resolution : false
  batch_size : 2

Weitere Informationen finden Sie in der Beispielkonfiguration.

Hinweis: Sie können Float16 verwenden, aber es ist instabil und nicht empfohlen. Bitte verwenden Sie Bfloat16 oder Float32.

Vorbereitete Gewichte

Sie können die vorgezogenen Gewichte auf dem Webui von Automic1111 verwenden.

? Huggingface: https://huggingface.co/p1atdev/leco

SDV1.5

• Van Gogh Style (ausgebildet, um das Konzept des "Van Gogh -Stils" auf SDV1.5 zu löschen)

Ergebnisse der oil painting of van gogh by himself :

Generationseinstellungen

 oil painting of van gogh by himself
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3870472781, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Ergebnisse der painting of scenery by monet :

Generationseinstellungen

 painting of scenery by monet
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 1284787312, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

SDV2.1-768

• Mona Lisa (ausgebildet, um das Konzept von "Mona Lisa" auf SDV2.1-768 zu löschen)

Ergebnisse von mona lisa with jewelry :

Generationseinstellungen

 mona lisa with jewelry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3630495347, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Ergebnisse eines photo of a cute cat :

Generationseinstellungen

 photo of a cute cat
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 900866192, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

WD1.5 Beta3

• Katzenohren (ausgebildet, um "1Girl" durch "1Girl, Katzenohren" auf WD1.5 Beta3) zu ersetzen)

Katzenohren werden gewaltsam angebracht, wenn sie mit einem Gewicht von 1,0 ~ 3.0 verwendet werden.

Wenn -1.0 ~ -3.0, werden Katzenohren niemals erscheinen.

Trainingseinstellungen: Siehe Konfigurationen.

Generationseinstellungen

 masterpiece, best quality, exceptional, best aesthetic, anime, 1girl, school uniform, upper body, smile
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 4103955758, Size: 512x512, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "0, 2, 3, 4", Version: v1.3.0

• Unwirklich (ausgebildet, um "realistisch", "reales Leben", "Instagram" auf WD1.5 Beta3) zu löschen.

Trainingseinstellungen: Siehe Konfigurationen.

Mit "wirklichen Leben, Instagram":

Generationseinstellungen

 real life, instagram, masterpiece, best quality, exceptional, best aesthetic, 1girl, cat ears, blue hair, school uniform, upper body
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 757542759, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Ohne "wirkliches Leben, Instagram":

Generationseinstellungen

 masterpiece, best quality, exceptional, best aesthetic,, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt,
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 2867636749, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0 

Referenzen

Ich bin zutiefst inspiriert und meine Arbeit beruht auf den herausragenden Bemühungen der folgenden Projekte. Ich möchte diesen Projekten und ihren Entwicklern meinen tiefgreifenden Dank ausdrücken:

• https://github.com/rohitgandikota/erasing: Löschen von Konzepten aus Diffusionsmodellen

  • https://huggingface.co/spaces/baumab/erasing-concepts-in-diffusion: Demo von ESD

• https://github.com/cloneofsimo/lora: Low-rank-Adaption für schnelle Textto-Image-Diffusion Fine-Tuning

• https://github.com/kohya-ss/sd-scripts: Trainings-, Generations- und Dienstprogramm-Skripte für eine stabile Diffusion

• https://github.com/ntc-ai/conceptmod: modifizieren Sie Konzepte aus Diffusionsmodellen mit einem DSL