ImagenHub
v0.3.0
ImageNhub: standardizon l'évaluation des modèles de génération d'images conditionnels
ICLR 2024
ImageNhub est une bibliothèque à guichet unique pour normaliser l'inférence et l'évaluation de tous les modèles de génération d'images conditionnels.
Installer à partir de PYPI:
pip install imagen-hub
Ou construire à partir de la source:
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Pour des modèles comme Dall-E, DreameDit et Blipdiffusion, veuillez consulter une configuration supplémentaire
Pour certains modèles (diffusion stable, SDXL, COSXL, etc.), vous devez vous connecter à huggingface-cli .
huggingface-cli loginPour reproduire notre expérience rapportée dans le document:
Exemple de génération d'images guidé par le texte:
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.ymlNotez que la structure de sortie attendue serait:
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...Puis après avoir exécuté l'expérience, vous pouvez courir
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml Pour produire un fichier index.html pour la visualisation.
Le fichier ressemblerait à quelque chose comme ça. Nous avons hébergé nos résultats d'expérience sur Imagen Museum.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image Les tutoriels et la documentation de l'API sont hébergés sur ImageNhub.readthedocs.io.
En rationalisant la recherche et la collaboration, ImageHub joue un rôle central dans la propulsion du domaine de la génération d'images et de l'édition.
Nous avons inclus plus de 30 modèles dans la synthèse d'image. Voir la liste complète ici:
| Méthode | Lieu | Taper |
|---|---|---|
| Diffusion stable | - | Génération de texte à l'image |
| Diffusion stable xl | arXiv'23 | Génération de texte à l'image |
| Deepfloyd-if | - | Génération de texte à l'image |
| Openjourney | - | Génération de texte à l'image |
| Dall-E | - | Génération de texte à l'image |
| Kandinsky | - | Génération de texte à l'image |
| Brush magique | arXiv'23 | Édition d'image guidée par texte |
| Instructpix2pix | Cvpr'23 | Édition d'image guidée par texte |
| Diffedit | Iclr'23 | Édition d'image guidée par texte |
| Imaginaire | Cvpr'23 | Édition d'image guidée par texte |
| Cyclédiffusion | ICCV'23 | Édition d'image guidée par texte |
| Sdedit | Iclr'22 | Édition d'image guidée par texte |
| Rapide | Iclr'23 | Édition d'image guidée par texte |
| Text2Live | ECCV'22 | Édition d'image guidée par texte |
| Pix2pixzero | Siggraph'23 | Édition d'image guidée par texte |
| Glisser | Icml'22 | Édition d'image guidée par masque |
| Diffusion mixte | Cvpr'22 | Édition d'image guidée par masque |
| Diffusion stable entre la déintre | - | Édition d'image guidée par masque |
| Diffusion stable | - | Édition d'image guidée par masque |
| TextualInversion | Iclr'23 | Génération d'images axée sur le sujet |
| Diffusion blip | arXiv'23 | Génération d'images axée sur le sujet |
| Dreambooth (+ Lora) | Cvpr'23 | Génération d'images axée sur le sujet |
| Saut de photos | arXiv'23 | Édition d'image axée sur le sujet |
| Rêver | arXiv'23 | Édition d'image axée sur le sujet |
| Diffusion personnalisée | Cvpr'23 | Génération multi-sujets |
| Contrôle | arXiv'23 | Génération d'images guidés par le contrôle |
| Unicontrol | arXiv'23 | Génération d'images guidés par le contrôle |
Les contributions communautaires sont encouragées!
ImageNhub est toujours en cours de développement. Plus de modèles et de fonctionnalités vont être ajoutés et nous accueillons toujours les contributions pour aider à améliorer ImagenHub. Si vous souhaitez contribuer, veuillez consulter contribution.md.
Nous pensons que tout le monde peut contribuer et faire une différence. Qu'il s'agisse d'écrire du code, de corriger les bugs?
Et si vous aimez le projet, mais que vous n'avez tout simplement pas le temps de contribuer, c'est bien. Il existe d'autres moyens faciles de soutenir le projet et de montrer votre appréciation, ce dont nous serions également très heureux:
- Strer le projet
- Tweeter à ce sujet
- Reportez-vous à ce projet dans Readme de votre projet
- Mentionnez le projet lors des rencontres locales et dites à vos amis / collègues
Q: Comment puis-je utiliser votre méthode d'évaluation pour ma méthode?
R: Veuillez vous référer à https://imagenhub.readthedocs.io/en/latest/guidelines/humaneval.html
Q: Comment puis-je ajouter ma méthode à ImageNhub Code Base?
R: Veuillez vous référer à https://imagenhub.readthedocs.io/en/latest/Guidelines/CustomoDel.html
Q: Je veux présenter ma méthode sur ImageNmuseum!
R: Veuillez vous référer à https://imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.html
Veuillez citer notre article si vous utilisez notre code, nos données, nos modèles ou nos résultats:
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}Veuillez vous référer aux remerciements.md
Ce projet est publié sous la licence.
