الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

LECO ✏

التكيف منخفض الرتبة لمحو المفاهيم من نماذج الانتشار.

المستودع الأصلي: محو المفاهيم من نماذج الانتشار

وصفحة المشروع: https://erasing.baulab.info/

(ليس فقط لمحو المفاهيم ، ولكن أيضًا التأكيد عليها أو تبديلها من خلال وضع مطالبات ووزن Lora. انظر ConceptMod لمزيد من التفاصيل)

يثبت 

conda create -n leco python=3.10
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install xformers
pip install -r requirements.txt

يدرب

تحتاج إلى 8 جيجابايت VRAM على الأقل. 

python ./train_lora.py --config_file " ./examples/config.yaml "

config.yaml : 

 prompts_file : " ./prompts.yaml "

pretrained_model :
  name_or_path : " stabilityai/stable-diffusion-2-1 " # you can also use .ckpt or .safetensors models
  v2 : true # true if model is v2.x
  v_pred : true # true if model uses v-prediction

network :
  type : " lierla " # or "c3lier"
  rank : 4
  alpha : 1.0

train :
  precision : " bfloat16 "
  noise_scheduler : " ddim " # or "ddpm", "lms", "euler_a"
  iterations : 500
  lr : 1e-4
  optimizer : " AdamW "
  lr_scheduler : " constant "

save :
  name : " van_gogh "
  path : " ./output "
  per_steps : 200
  precision : " bfloat16 "

logging :
  use_wandb : false
  verbose : false

other :
  use_xformers : true

prompts.yaml : 

- target : " van gogh " # what word for erasing the positive concept from
  positive : " van gogh " # concept to erase
  unconditional : " " # word to take the difference from the positive concept
  neutral : " " # starting point for conditioning the target
  action : " erase " # erase or enhance
  guidance_scale : 1.0
  resolution : 512
  dynamic_resolution : false
  batch_size : 2

انظر مثال التكوين لمزيد من التفاصيل.

ملاحظة: يمكنك استخدام Float16 ولكنه غير مستقر ولا ينصح به. يرجى استخدام Bfloat16 أو Float32.

الأوزان المسبقة

يمكنك استخدام الأوزان المسبقة على Webui التلقائي 1111.

؟ Huggingface: https://huggingface.co/P1atdev/leco

SDV1.5

  • نمط Van Gogh (مدرب على محو مفهوم "Van Gogh Style" على SDV1.5)

نتائج oil painting of van gogh by himself :

فان جوخ

إعدادات الجيل 
 oil painting of van gogh by himself
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3870472781, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

نتائج painting of scenery by monet :

مونيه

إعدادات الجيل 
 painting of scenery by monet
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 1284787312, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

SDV2.1-768

  • منى ليزا (مدربة لمحو مفهوم "منى ليزا" على SDV2.1-768)

نتائج mona lisa with jewelry :

منى ليزا

إعدادات الجيل 
 mona lisa with jewelry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3630495347, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

نتائج photo of a cute cat :

منى ليزا

إعدادات الجيل 
 photo of a cute cat
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 900866192, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

WD1.5 Beta3

  • آذان القط (مدربة لاستبدال "1Girl" بـ "1Girl ، Cat Ears" على WD1.5 Beta3)

سيتم إرفاق آذان القط بالقوة عند استخدامه مع وزن 1.0 ~ 3.0.

إذا -1.0 ~ -3.0 ، لن تظهر آذان القط أبدًا.

إعدادات التدريب: انظر التكوينات.

آذان القط

إعدادات الجيل 
 masterpiece, best quality, exceptional, best aesthetic, anime, 1girl, school uniform, upper body, smile
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 4103955758, Size: 512x512, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "0, 2, 3, 4", Version: v1.3.0
  • غير واقعي (مدرب على محو "الواقعية" ، "الحياة الحقيقية" ، "Instagram" على WD1.5 Beta3)

إعدادات التدريب: انظر التكوينات.

مع "الحياة الحقيقية ، Instagram":

غير واقعي

إعدادات الجيل 
 real life, instagram, masterpiece, best quality, exceptional, best aesthetic, 1girl, cat ears, blue hair, school uniform, upper body
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 757542759, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

بدون "الحياة الحقيقية ، Instagram":

غير واقعي

إعدادات الجيل 
 masterpiece, best quality, exceptional, best aesthetic,, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt,
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 2867636749, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

مراجع

أنا مستوحى بشدة من عملي ويعتمد عملي على الجهود المتميزة للمشاريع التالية. أريد أن أعرب عن امتناني العميق لهذه المشاريع ومطوريهم:

  • https://github.com/rohitgandikota/erasing: محو المفاهيم من نماذج الانتشار

    • https://huggingface.co/spaces/baulab/erasing-concepts-in-diffusion: Demo of ESD

  • https://github.com/cloneofsimo/lora: التكيف المنخفض لرفع النص السريع إلى صياغة نصي

  • https://github.com/kohya-ss/sd-scripts: التدريب والتوليد والبرامج النصية للمنشأة المستقرة

  • https://github.com/ntc-ai/conceptmod: تعديل المفاهيم من نماذج الانتشار باستخدام DSL

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل