Главная страница>Связанные с программированием>AI Исходный код
Скачать

Леко ✏

Низкая адаптация для стирания концепций из диффузионных моделей.

Оригинальный репозиторий: стирание концепций из диффузионных моделей

и страница проекта: https://erasing.baulab.info/

(Не только для стирания концепций, но и подчеркивания или обмена их путем разработки подсказок и веса Lora. См. ConceptMod для более подробной информации)

Настраивать 

conda create -n leco python=3.10
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install xformers
pip install -r requirements.txt

Тренироваться

По крайней мере, вам нужен 8 ГБ VRAM. 

python ./train_lora.py --config_file " ./examples/config.yaml "

config.yaml : 

 prompts_file : " ./prompts.yaml "

pretrained_model :
  name_or_path : " stabilityai/stable-diffusion-2-1 " # you can also use .ckpt or .safetensors models
  v2 : true # true if model is v2.x
  v_pred : true # true if model uses v-prediction

network :
  type : " lierla " # or "c3lier"
  rank : 4
  alpha : 1.0

train :
  precision : " bfloat16 "
  noise_scheduler : " ddim " # or "ddpm", "lms", "euler_a"
  iterations : 500
  lr : 1e-4
  optimizer : " AdamW "
  lr_scheduler : " constant "

save :
  name : " van_gogh "
  path : " ./output "
  per_steps : 200
  precision : " bfloat16 "

logging :
  use_wandb : false
  verbose : false

other :
  use_xformers : true

prompts.yaml : 

- target : " van gogh " # what word for erasing the positive concept from
  positive : " van gogh " # concept to erase
  unconditional : " " # word to take the difference from the positive concept
  neutral : " " # starting point for conditioning the target
  action : " erase " # erase or enhance
  guidance_scale : 1.0
  resolution : 512
  dynamic_resolution : false
  batch_size : 2

См. Пример конфигурации для более подробной информации.

Примечание. Вы можете использовать Float16, но он нестабилен и не рекомендуется. Пожалуйста, используйте Bfloat16 или Float32.

Предварительно подготовленные веса

Вы можете использовать предварительно подготовленные веса на WebUI Automatic1111111111111111111111111111111111111111111.

? Huggingface: https://huggingface.co/p1atdev/leco

SDV1.5

  • Стиль Ван Гога (обучен, чтобы стереть концепцию «стиля Ван Гога» на SDV1.5)

Результаты oil painting of van gogh by himself :

Ван Гог

Настройки поколения 
 oil painting of van gogh by himself
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3870472781, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Результаты painting of scenery by monet :

монет

Настройки поколения 
 painting of scenery by monet
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 1284787312, Size: 512x512, Model hash: cc6cb27103, Model: v1-5-pruned-emaonly, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: van_gogh_4_last(db68853d039b), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

SDV2.1-768

  • Мона Лиза (обученная стирания концепции «Моны Лизы» на SDV2.1-768)

Результаты mona lisa with jewelry :

Мона Лиза

Настройки поколения 
 mona lisa with jewelry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 3630495347, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Результаты photo of a cute cat :

Мона Лиза

Настройки поколения 
 photo of a cute cat
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 900866192, Size: 512x512, Model hash: 832eb50c0c, Model: v2-1_768-ema-pruned, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: mona_lisa2_last(393beb35c4b1), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

WD1.5 Beta3

  • Кошачьи уши (обучен заменить «1Girl» на «1Girl, кошачьи уши» на WD1.5 Beta3)

Уши кошек будут принудительно прикреплены при использовании веса 1,0 ~ 3,0.

Если -1,0 ~ -3,0, кошачьи уши никогда не появятся.

Настройки обучения: см. Config.

кошачьи уши

Настройки поколения 
 masterpiece, best quality, exceptional, best aesthetic, anime, 1girl, school uniform, upper body, smile
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 4103955758, Size: 512x512, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "0, 2, 3, 4", Version: v1.3.0
  • Unreal (обучен стирать «реалистичный», «реальная жизнь», «Instagram» на WD1.5 Beta3)

Настройки обучения: см. Config.

С "реальной жизни, Instagram":

нереальный

Настройки поколения 
 real life, instagram, masterpiece, best quality, exceptional, best aesthetic, 1girl, cat ears, blue hair, school uniform, upper body
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 757542759, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Без "реальной жизни, Instagram":

нереальный

Настройки поколения 
 masterpiece, best quality, exceptional, best aesthetic,, 1girl, aqua eyes, baseball cap, blonde hair, closed mouth, earrings, green background, hat, hoop earrings, jewelry, looking at viewer, shirt, short hair, simple background, solo, upper body, yellow shirt,
Negative prompt : worst quality, low quality, bad aesthetic, oldest, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
Steps : 20, Sampler: Euler a, CFG scale: 7, Seed: 2867636749, Size: 768x768, Model hash: d38e779546, Model: wd-beta3-base-fp16, Clip skip: 2, AddNet Enabled: True, AddNet Module 1: LoRA, AddNet Model 1: unreal_6_many_prompts_200steps(fff5917285da), AddNet Weight A 1: -1.0, AddNet Weight B 1: -1.0, Script: X/Y/Z plot, X Type: AddNet Weight 1, X Values: "-1, 0, 1", Version: v1.3.0

Ссылки

Я глубоко вдохновлен, и моя работа опирается на выдающиеся усилия следующих проектов. Я хочу выразить свою глубокую благодарность этим проектам и их разработчикам:

  • https://github.com/rohitgandikota/erasing: стирание концепций из диффузионных моделей

    • https://huggingface.co/spaces/baulab/erasing-concepts-in-diffusion: демо OSD

  • https://github.com/cloneofsimo/lora: адаптация с низким рейтингом для быстрой диффузии текста к Image Fine-Tuning

  • https://github.com/kohya-ss/sd-scripts: обучение, генерация и коммунальные сценарии для стабильной диффузии

  • https://github.com/ntc-ai/conceptmod: изменить концепции из диффузионных моделей с помощью DSL

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все