daam
v0.2.0
Я регулярно обновляю эту кодовую базу. Пожалуйста, отправьте вопрос, если у вас есть какие -либо вопросы.
В нашей статье мы предлагаем диффузионные карты атрибуции (DAAM), основанный на кросс-внимании подход для интерпретации стабильной диффузии. Проверьте нашу демонстрацию: https://huggingface.co/spaces/tetrisd/diffusion-attentive-attribution-maps. См. Наша документация, размещенная Github Pages, и нашу ноутбук Colab, обновленная для V0.1.0.
Во -первых, установите Pytorch для вашей платформы. Затем установите DAAM с pip install daam , если вы не хотите редактируемой версии библиотеки, и в этом случае DO DO git clone https://github.com/castorini/daam && pip install -e daam . Наконец, входите в систему, используя huggingface-cli login , чтобы получить много стабильных диффузионных моделей-вам нужно будет получить токен на guggingface.co.
Просто запустите daam-demo в оболочке и перейдите по http: // localhost: 8080. Та же демо, что и на пространстве объятий, появится.
Даам поставляется с простым сценарием поколения для людей, которые хотят быстро попробовать. Попробуйте запустить
$ mkdir -p daam-test && cd daam-test
$ daam " A dog running across the field. "
$ ls
a.heat_map.png field.heat_map.png generation.pt output.png seed.txt
dog.heat_map.png running.heat_map.png prompt.txt Ваш текущий рабочий каталог теперь будет содержать сгенерированное изображение как output.png . Вы можете увидеть больше вариантов для daam , запустив daam -h . Чтобы использовать стабильную диффузию XL в качестве бэкэнда, запустите daam --model xl-base-1.0 "Dog jumping" .
Импортируйте и используйте DAAM следующим образом:
from daam import trace , set_seed
from diffusers import DiffusionPipeline
from matplotlib import pyplot as plt
import torch
model_id = 'stabilityai/stable-diffusion-xl-base-1.0'
device = 'cuda'
pipe = DiffusionPipeline . from_pretrained ( model_id , use_auth_token = True , torch_dtype = torch . float16 , use_safetensors = True , variant = 'fp16' )
pipe = pipe . to ( device )
prompt = 'A dog runs across the field'
gen = set_seed ( 0 ) # for reproducibility
with torch . no_grad ():
with trace ( pipe ) as tc :
out = pipe ( prompt , num_inference_steps = 50 , generator = gen )
heat_map = tc . compute_global_heat_map ()
heat_map = heat_map . compute_word_heat_map ( 'dog' )
heat_map . plot_overlay ( out . images [ 0 ])
plt . show ()Вы также можете довольно легко сериализовать и понижать карты DAAM:
from daam import GenerationExperiment , trace
with trace ( pipe ) as tc :
pipe ( 'A dog and a cat' )
exp = tc . to_experiment ( 'experiment-dir' )
exp . save () # experiment-dir now contains all the data and heat maps
exp = GenerationExperiment . load ( 'experiment-dir' ) # load the experiment Мы продолжим добавлять документы. В то же время, ознакомьтесь с классами GenerationExperiment , GlobalHeatMap и DiffusionHeatMapHooker , а также сценарии daam/run/*.py Пример. Вы можете скачать набор данных Coco-Gen из бумаги по адресу http://ralphtang.com/coco-gen.tar.gz. Если щелчок по ссылке не работает в вашем браузере, скопируйте и вставьте ее на новую вкладку или используйте утилиту CLI, такую как wget .
DAAM-I2I, расширение атрибуции DAAM к изображению к изображению.
Видео Фуркана о том, чтобы легко начать работу с Даамом.
1Littlecoder's Video для демонстрации кода и ноутбука Colab о более старой версии DAAM.
@inproceedings{tang2023daam,
title = "What the {DAAM}: Interpreting Stable Diffusion Using Cross Attention",
author = "Tang, Raphael and
Liu, Linqing and
Pandey, Akshat and
Jiang, Zhiying and
Yang, Gefei and
Kumar, Karun and
Stenetorp, Pontus and
Lin, Jimmy and
Ture, Ferhan",
booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
year = "2023",
url = "https://aclanthology.org/2023.acl-long.310",
}
