หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

leco ✏

การปรับระดับต่ำสำหรับการลบแนวคิดจากแบบจำลองการแพร่กระจาย

ที่เก็บต้นฉบับ: การลบแนวคิดจากแบบจำลองการแพร่กระจาย

และหน้าโครงการ: https://erasing.baulab.info/

(ไม่เพียง แต่สำหรับการลบแนวคิดเท่านั้น แต่ยังเน้นหรือการสลับพวกเขาโดยการคิดและน้ำหนัก lora ดู ConceptMod สำหรับรายละเอียดเพิ่มเติม)

การตั้งค่า 

conda create -n leco python=3.10
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install xformers
pip install -r requirements.txt

รถไฟ

คุณต้องการ 8GB VRAM อย่างน้อย 

python ./train_lora.py --config_file " ./examples/config.yaml "

config.yaml : 

 prompts_file : " ./prompts.yaml "

pretrained_model :
  name_or_path : " stabilityai/stable-diffusion-2-1 " # you can also use .ckpt or .safetensors models
  v2 : true # true if model is v2.x
  v_pred : true # true if model uses v-prediction

network :
  type : " lierla " # or "c3lier"
  rank : 4
  alpha : 1.0

train :
  precision : " bfloat16 "
  noise_scheduler : " ddim " # or "ddpm", "lms", "euler_a"
  iterations : 500
  lr : 1e-4
  optimizer : " AdamW "
  lr_scheduler : " constant "

save :
  name : " van_gogh "
  path : " ./output "
  per_steps : 200
  precision : " bfloat16 "

logging :
  use_wandb : false
  verbose : false

other :
  use_xformers : true

prompts.yaml : 

- target : " van gogh " # what word for erasing the positive concept from
  positive : " van gogh " # concept to erase
  unconditional : " " # word to take the difference from the positive concept
  neutral : " " # starting point for conditioning the target
  action : " erase " # erase or enhance
  guidance_scale : 1.0
  resolution : 512
  dynamic_resolution : false
  batch_size : 2

ดูตัวอย่างการกำหนดค่าสำหรับรายละเอียดเพิ่มเติม

หมายเหตุ: คุณสามารถใช้ Float16 แต่ไม่เสถียรและไม่แนะนำ โปรดใช้ bfloat16 หรือ float32

น้ำหนักที่ได้รับการดูแล

คุณสามารถใช้น้ำหนักที่ได้รับการฝึกฝนบน webui ของ Automatic1111

- HuggingFace: https://huggingface.co/p1atdev/leco

SDV1.5

  • สไตล์ Van Gogh (ได้รับการฝึกฝนให้ลบแนวคิดของ "Van Gogh Style" บน SDV1.5)

ผลลัพธ์ของ oil painting of van gogh by himself :

Van Gogh

การตั้งค่ารุ่น 
 oil painting of van gogh by himself
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3870472781, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

ผลลัพธ์ของ painting of scenery by monet :

โมเนต์

การตั้งค่ารุ่น 
 painting of scenery by monet
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 1284787312, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

SDV2.1-768

  • Mona Lisa (ได้รับการฝึกฝนให้ลบแนวคิดของ "Mona Lisa" บน SDV2.1-768)

ผลลัพธ์ของ mona lisa with jewelry :

โมนาลิซ่า

การตั้งค่ารุ่น 
 mona lisa with jewelry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3630495347, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

ผลลัพธ์ของ photo of a cute cat :

โมนาลิซ่า

การตั้งค่ารุ่น 
 photo of a cute cat
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 900866192, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

wd1.5 beta3

  • Cat Ears (ได้รับการฝึกฝนให้แทนที่ "1Girl" ด้วย "1Girl, Cat Ears" บน WD1.5 Beta3)

หูแมวจะถูกยึดเมื่อใช้กับน้ำหนัก 1.0 ~ 3.0

ถ้า -1.0 ~ -3.0 หูแมวจะไม่ปรากฏ

การตั้งค่าการฝึกอบรม: ดูการกำหนดค่า

หูแมว

การตั้งค่ารุ่น 
 masterpiece, best quality, exceptional, best aesthetic, anime, 1girl, school uniform, upper body, smile
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 4103955758, Size: 512x512, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "0, 2, 3, 4", Version: v1.3.0
  • Unreal (ได้รับการฝึกฝนให้ลบ "สมจริง", "ชีวิตจริง", "Instagram" บน wd1.5 beta3)

การตั้งค่าการฝึกอบรม: ดูการกำหนดค่า

ด้วย "ชีวิตจริง, Instagram":

ไม่จริง

การตั้งค่ารุ่น 
 real life, instagram, masterpiece, best quality, exceptional, best aesthetic, 1girl, cat ears, blue hair, school uniform, upper body
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 757542759, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

หากไม่มี "ชีวิตจริง Instagram":

ไม่จริง

การตั้งค่ารุ่น 
 masterpiece, best quality, exceptional, best aesthetic,, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt,
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 2867636749, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

การอ้างอิง

ฉันได้รับแรงบันดาลใจอย่างลึกซึ้งและงานของฉันขึ้นอยู่กับความพยายามที่โดดเด่นของโครงการต่อไปนี้ ฉันต้องการแสดงความขอบคุณอย่างลึกซึ้งต่อโครงการเหล่านี้และนักพัฒนาของพวกเขา:

  • https://github.com/rohitgandikota/erasing: การลบแนวคิดจากแบบจำลองการแพร่กระจาย

    • https://huggingface.co/spaces/baulab/erasing-concepts-in-diffusion: ตัวอย่างของ ESD

  • https://github.com/cloneofsimo/lora: การปรับตัวต่ำสำหรับการปรับแต่งการแพร่กระจายอย่างรวดเร็ว text-to-image

  • https://github.com/kohya-ss/sd-scripts: การฝึกอบรมการสร้างและสคริปต์ยูทิลิตี้เพื่อการแพร่กระจายที่มั่นคง

  • https://github.com/ntc-ai/conceptmod: แก้ไขแนวคิดจากโมเดลการแพร่กระจายโดยใช้ DSL

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด