ImagenHub
v0.3.0
ImageNHUB: Standardisierung der Bewertung von Modellen der bedingten Bildgenerierung
ICLR 2024
ImagEnhub ist eine One-Stop-Bibliothek, um die Inferenz und Bewertung aller bedingten Bildgenerierungsmodelle zu standardisieren.
Installieren Sie von PYPI:
pip install imagen-hub
Oder aus Quelle bauen:
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Für Modelle wie Dall-E, Dreamedit und Blipdiffusion finden Sie zusätzliches Setup
Für einige Modelle (stabile Diffusion, SDXL, COSXL usw.) müssen Sie sich über huggingface-cli anmelden.
huggingface-cli loginUm unser Experiment zu reproduzieren, das in der Arbeit gemeldet wurde:
Beispiel für die textgesteuerte Bildgenerierung:
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.ymlBeachten Sie, dass die erwartete Ausgangsstruktur sein würde:
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...Nach dem Ausführen des Experiments können Sie dann laufen
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml So erstellen Sie eine index.html -Datei zur Visualisierung.
Die Datei würde so aussehen. Wir haben unsere Experimentergebnisse im Imageen Museum veranstaltet.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image Die Tutorials und die API -Dokumentation werden auf ImageNHub.readthedocs.io gehostet.
Im Rahmen der Forschung und Zusammenarbeit spielt ImageHub eine zentrale Rolle bei der Antrieb des Gebiets der Bildgenerierung und -bearbeitung.
Wir haben mehr als 30 Modelle in die Bildsynthese aufgenommen. Siehe die vollständige Liste hier:
| Verfahren | Veranstaltungsort | Typ |
|---|---|---|
| Stabile Diffusion | - - | Text-to-Image-Generation |
| Stabile Diffusion xl | Arxiv'23 | Text-to-Image-Generation |
| Deepfloyd-wenn | - - | Text-to-Image-Generation |
| OpenJourney | - - | Text-to-Image-Generation |
| Dall-e | - - | Text-to-Image-Generation |
| Kandinsky | - - | Text-to-Image-Generation |
| MagicBrush | Arxiv'23 | Textgesteuerte Bildbearbeitung |
| InstructPix2Pix | CVPR'23 | Textgesteuerte Bildbearbeitung |
| Diffedit | ICLR'23 | Textgesteuerte Bildbearbeitung |
| Vorstellbar | CVPR'23 | Textgesteuerte Bildbearbeitung |
| Cyclediffusion | ICCV'23 | Textgesteuerte Bildbearbeitung |
| Sdedit | ICLR'22 | Textgesteuerte Bildbearbeitung |
| Eingabeaufforderung zu Prompt | ICLR'23 | Textgesteuerte Bildbearbeitung |
| Text2live | ECCV'22 | Textgesteuerte Bildbearbeitung |
| PIX2PIXZERO | Siggraph'23 | Textgesteuerte Bildbearbeitung |
| GLEITEN | ICML'22 | Maskengeführte Bildbearbeitung |
| Gemischte Diffusion | CVPR'22 | Maskengeführte Bildbearbeitung |
| Stabile Diffusions -Inpainting | - - | Maskengeführte Bildbearbeitung |
| Stabile Diffusion XL Inpainting | - - | Maskengeführte Bildbearbeitung |
| Textualinversion | ICLR'23 | Subjektgetriebene Bildgenerierung |
| Blip-Diffusion | Arxiv'23 | Subjektgetriebene Bildgenerierung |
| Dreambooth (+ Lora) | CVPR'23 | Subjektgetriebene Bildgenerierung |
| Fotoswap | Arxiv'23 | Subjektgetriebene Bildbearbeitung |
| Geträumt | Arxiv'23 | Subjektgetriebene Bildbearbeitung |
| Benutzerdefinierte Diffusion | CVPR'23 | Multi-subjektgetriebene Generation |
| ControlNet | Arxiv'23 | Kontrollgesteuerte Bildgenerierung |
| Unicontrol | Arxiv'23 | Kontrollgesteuerte Bildgenerierung |
Community -Beiträge werden gefördert!
ImageNhub befindet sich noch in der Entwicklung. Weitere Modelle und Funktionen werden hinzugefügt, und wir begrüßen immer Beiträge, um ImageNHub zu verbessern. Wenn Sie einen Beitrag leisten möchten, schauen Sie sich bitte den Beitrag zum Beitrag zur.
Wir glauben, dass jeder dazu beitragen und etwas bewirken kann. Ob es darum geht, Code zu schreiben, Fehler zu beheben? Oder einfach nur das Teilen von Feedback, Ihre Beiträge sind definitiv willkommen und geschätzt?
Und wenn Sie das Projekt mögen, aber einfach keine Zeit haben, um einen Beitrag zu leisten, ist das in Ordnung. Es gibt andere einfache Möglichkeiten, das Projekt zu unterstützen und Ihre Wertschätzung zu zeigen, über die wir uns auch sehr freuen würden:
- Spiele das Projekt
- Tweet darüber
- Verweisen Sie dieses Projekt in der Readme Ihres Projekts
- Erwähnen Sie das Projekt bei örtlichen Meetups und erzählen Sie Ihren Freunden/Kollegen
F: Wie kann ich Ihre Bewertungsmethode für meine Methode verwenden?
A: Bitte beachten Sie https://imagenhub.readthedocs.io/en/latest/guidelines/humaneval.html
F: Wie kann ich meine Methode zu ImageNHub -Codebasis hinzufügen?
A: Bitte beachten Sie https://imagenhub.readthedocs.io/en/latest/guidelines/custommodel.html
F: Ich möchte meine Methode auf ImageInmuseum aufnehmen!
A: Bitte beachten Sie https://imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.html
Bitte zitieren Sie unser Papier, wenn Sie unseren Code, Daten, Modelle oder Ergebnisse verwenden:
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}Bitte beachten Sie die Bestätigungen.md
Dieses Projekt wird unter der Lizenz veröffentlicht.
