ImagenHub
v0.3.0
ImagenHub: стандартизация оценки моделей условной генерации изображений
ICLR 2024
ImagenHub-это универсальная библиотека для стандартизации вывода и оценки всех моделей условной генерации изображений.
Установите из PYPI:
pip install imagen-hub
Или построить из источника:
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Для таких моделей, как Dall-E, Dreamedit и Blipdiffusion, см. Дополнительную настройку
Для некоторых моделей (стабильная диффузия, SDXL, COSXL и т. Д.) Вам необходимо войти через huggingface-cli .
huggingface-cli loginЧтобы воспроизвести наш эксперимент, сообщенный в статье:
Пример для генерации изображений, управляемых текстами:
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.ymlОбратите внимание, что ожидаемой выходной структуры будет:
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...Затем после запуска эксперимента вы можете запустить
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml Чтобы создать файл index.html для визуализации.
Файл будет выглядеть как что -то подобное. Мы провели результаты нашего эксперимента в музее Имагуна.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image Учебные пособия и документация по API размещены на ImagenHub.readthedocs.io.
Упрощив исследования и сотрудничество, ImageHub играет ключевую роль в продвижении области генерации и редактирования изображений.
Мы включили более 30 моделей в синтез изображения. Смотрите полный список здесь:
| Метод | Место проведения | Тип |
|---|---|---|
| Стабильная диффузия | - | Поколение текста до изображения |
| Стабильная диффузия xl | arxiv'23 | Поколение текста до изображения |
| DeepFloyd-if | - | Поколение текста до изображения |
| OpenJourney | - | Поколение текста до изображения |
| Далл-э | - | Поколение текста до изображения |
| Кандинский | - | Поколение текста до изображения |
| Магический размер | arxiv'23 | Редактирование изображений с текстами |
| INSTRUCTPIX2PIX | CVPR'23 | Редактирование изображений с текстами |
| Diffedit | ICLR'23 | Редактирование изображений с текстами |
| Воображение | CVPR'23 | Редактирование изображений с текстами |
| Циклевой | ICCV'23 | Редактирование изображений с текстами |
| Sdedit | ICLR'22 | Редактирование изображений с текстами |
| Быстро-к-продукт | ICLR'23 | Редактирование изображений с текстами |
| Text2live | ECCV'22 | Редактирование изображений с текстами |
| Pix2pixzero | Siggraph'23 | Редактирование изображений с текстами |
| Скользить | ICML'22 | Редактирование изображений с масками |
| Смешанная диффузия | CVPR'22 | Редактирование изображений с масками |
| Стабильная диффузия внедорожника | - | Редактирование изображений с масками |
| Стабильная диффузия xl inpainting | - | Редактирование изображений с масками |
| Текстовая инверсия | ICLR'23 | Объектируемое на субъекту |
| Блип-диффузия | arxiv'23 | Объектируемое на субъекту |
| Dreambooth (+ Lora) | CVPR'23 | Объектируемое на субъекту |
| Photoswap | arxiv'23 | Редактирование изображений, управляемого предметом |
| Мечтать | arxiv'23 | Редактирование изображений, управляемого предметом |
| Пользовательская диффузия | CVPR'23 | Multi-Subject, управляемое поколением |
| ControlNet | arxiv'23 | Управление генерацией изображений |
| Unicontrol | arxiv'23 | Управление генерацией изображений |
Вклад сообщества воодушевлен!
ImagenHub все еще находится в стадии разработки. Будет добавлено больше моделей и функций, и мы всегда приветствуем вклад, чтобы помочь сделать ImagenHub лучше. Если вы хотите внести свой вклад, пожалуйста, ознакомьтесь с Anforming.md.
Мы считаем, что каждый может внести свой вклад и изменить ситуацию. Будь то написание кода, исправление ошибок? Или просто делится обратной связью, ваши взносы определенно приветствуются и ценятся?
И если вам нравится проект, но просто у вас нет времени, чтобы внести свой вклад, это нормально. Есть и другие простые способы поддержать проект и проявить свою признательность, о которой мы также были бы очень рады:
- Светь проект
- Твитнуть об этом
- Отправьте этот проект в Readme вашего проекта
- Укажите проект на местных встречах и расскажите своим друзьям/коллегам
В: Как я могу использовать ваш метод оценки для моего метода?
A: Пожалуйста, обратитесь к https://imagenhub.readthedocs.io/en/latest/guidelines/humaneval.html
В: Как я могу добавить свой метод в кодовую базу ImagenHub?
A: Пожалуйста, обратитесь к https://imagenhub.readthedocs.io/en/latest/guidelines/customdel.html
В: Я хочу показать свой метод на ImagenMuseum!
A: Пожалуйста, обратитесь к https://imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.html
Пожалуйста, обратитесь к нашей статье, если вы используете наш код, данные, модели или результаты:
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}Пожалуйста, обратитесь к ACKNKEDGENTIENS.MD
Этот проект выпущен под лицензией.
