ImagenHub
v0.3.0
ImagenHub: Estandarización de la evaluación de modelos condicionales de generación de imágenes
ICLR 2024
ImagenHub es una biblioteca única para estandarizar la inferencia y evaluación de todos los modelos de generación de imágenes condicionales.
Instalar desde PYPI:
pip install imagen-hub
O construir desde la fuente:
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Para modelos como Dall-E, Dreamedit y Blipdiffusion, consulte la configuración adicional
Para algunos modelos (difusión estable, SDXL, COSXL, etc.), debe iniciar sesión a través de huggingface-cli .
huggingface-cli loginPara reproducir nuestro experimento reportado en el documento:
Ejemplo para la generación de imágenes guiadas por texto:
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.ymlTenga en cuenta que la estructura de salida esperada sería:
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...Luego, después de ejecutar el experimento, puedes ejecutar
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml Para producir un archivo index.html para la visualización.
El archivo se vería como esto. Organizamos los resultados de nuestros experimentos en Imagen Museum.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image Los tutoriales y la documentación de la API están alojados en imagenhub.readthedocs.io.
Al racionalizar la investigación y la colaboración, ImageHub juega un papel fundamental en la propuesta del campo de la generación y edición de imágenes.
Incluimos más de 30 modelos en síntesis de imágenes. Vea la lista completa aquí:
| Método | Evento | Tipo |
|---|---|---|
| Difusión estable | - | Generación de texto a imagen |
| Difusión estable XL | arxiv'23 | Generación de texto a imagen |
| Deepfloyd-if | - | Generación de texto a imagen |
| INPERSILLO | - | Generación de texto a imagen |
| Dall-E | - | Generación de texto a imagen |
| Kandinsky | - | Generación de texto a imagen |
| Mágico | arxiv'23 | Edición de imágenes guiadas por texto |
| Instructpix2pix | CVPR'23 | Edición de imágenes guiadas por texto |
| Difusión | ICLR'23 | Edición de imágenes guiadas por texto |
| Imaginario | CVPR'23 | Edición de imágenes guiadas por texto |
| Cicledifusión | ICCV'23 | Edición de imágenes guiadas por texto |
| Sdedit | ICLR'22 | Edición de imágenes guiadas por texto |
| Rápido | ICLR'23 | Edición de imágenes guiadas por texto |
| Text2live | Eccv'22 | Edición de imágenes guiadas por texto |
| Pix2pixzero | Siggraph'23 | Edición de imágenes guiadas por texto |
| PLANEO | ICML'22 | Edición de imágenes guiadas por máscaras |
| Difusión mezclada | CVPR'22 | Edición de imágenes guiadas por máscaras |
| Inpenación de difusión estable | - | Edición de imágenes guiadas por máscaras |
| Difusión estable XL Inpenación | - | Edición de imágenes guiadas por máscaras |
| Inversión textual | ICLR'23 | Generación de imágenes impulsada por sujetos |
| Difusión | arxiv'23 | Generación de imágenes impulsada por sujetos |
| Dreambooth (+ lora) | CVPR'23 | Generación de imágenes impulsada por sujetos |
| Photoswap | arxiv'23 | Edición de imágenes impulsada por sujetos |
| Dreamedit | arxiv'23 | Edición de imágenes impulsada por sujetos |
| Difusión personalizada | CVPR'23 | Generación múltiple |
| Control de control | arxiv'23 | Generación de imágenes guiada por control |
| Unicontrol | arxiv'23 | Generación de imágenes guiada por control |
¡Se alientan las contribuciones de la comunidad!
ImagenHub todavía está en desarrollo. Se agregarán más modelos y características y siempre damos la bienvenida a las contribuciones para ayudar a mejorar ImagenHub. Si desea contribuir, consulte Contributing.md.
Creemos que todos pueden contribuir y marcar la diferencia. ¿Ya se trata de escribir código, arreglando errores? O simplemente compartiendo comentarios, ¿sus contribuciones son definitivamente bienvenidas y apreciadas?
Y si te gusta el proyecto, pero simplemente no tienes tiempo para contribuir, está bien. Hay otras formas fáciles de apoyar el proyecto y mostrar su agradecimiento, de lo que también estaríamos muy contentos:
- Estrella el proyecto
- Tweet al respecto
- Consulte este proyecto en el ReadMe de su proyecto
- Mencione el proyecto en las reuniones locales y cuénteles a sus amigos/colegas
P: ¿Cómo puedo usar su método de evaluación para mi método?
R: Consulte https://imagenhub.readthedocs.io/en/latest/guidelines/humaneval.html
P: ¿Cómo puedo agregar mi método a la base de código ImageNhub?
R: Consulte https://imagenhub.readthedocs.io/en/latest/guidelines/custommodel.html
P: ¡Quiero presentar mi método en ImagenMuseum!
R: Consulte https://imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.html
Por favor, cita nuestro documento si usa nuestro código, datos, modelos o resultados:
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}Consulte el reconocimiento. MD
Este proyecto se publica bajo la licencia.
