ImagenHub
v0.3.0
Imagenhub: Standarisasi Evaluasi Model Pembuatan Gambar Bersyarat
ICLR 2024
ImageNhub adalah perpustakaan satu atap untuk membakukan inferensi dan evaluasi semua model pembuatan gambar bersyarat.
Instal dari PYPI:
pip install imagen-hub
Atau membangun dari sumber:
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Untuk model seperti Dall-E, Dreamedit, dan Blipdiffusion, silakan lihat pengaturan tambahan
Untuk beberapa model (difusi stabil, SDXL, COSXL, dll.), Anda perlu masuk melalui huggingface-cli .
huggingface-cli loginUntuk mereproduksi percobaan kami yang dilaporkan di koran:
Contoh untuk pembuatan gambar yang dipandu teks:
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.ymlPerhatikan bahwa struktur output yang diharapkan adalah:
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...Kemudian setelah menjalankan percobaan, Anda dapat berlari
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml Untuk menghasilkan file index.html untuk visualisasi.
File akan terlihat seperti hal seperti ini. Kami menjadi tuan rumah hasil eksperimen kami di Imagen Museum.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image Tutorial dan dokumentasi API di -host di imagenhub.readthedocs.io.
Dengan merampingkan penelitian dan kolaborasi, ImageHub memainkan peran penting dalam mendorong bidang pembuatan gambar dan pengeditan.
Kami menyertakan lebih dari 30 model dalam sintesis gambar. Lihat daftar lengkapnya di sini:
| Metode | Lokasi | Jenis |
|---|---|---|
| Difusi stabil | - | Generasi teks-ke-gambar |
| Difusi stabil XL | arxiv'23 | Generasi teks-ke-gambar |
| Deepfloyd-if | - | Generasi teks-ke-gambar |
| OpenJourney | - | Generasi teks-ke-gambar |
| Dall-E | - | Generasi teks-ke-gambar |
| Kandinsky | - | Generasi teks-ke-gambar |
| Magicbrush | arxiv'23 | Pengeditan gambar yang dipandu teks |
| Instrukturpix2pix | Cvpr'23 | Pengeditan gambar yang dipandu teks |
| Difedit | Iclr'23 | Pengeditan gambar yang dipandu teks |
| Imajik | Cvpr'23 | Pengeditan gambar yang dipandu teks |
| Cyclediffusion | Iccv'23 | Pengeditan gambar yang dipandu teks |
| Sdedit | Iclr'22 | Pengeditan gambar yang dipandu teks |
| Prompt-to-Prompt | Iclr'23 | Pengeditan gambar yang dipandu teks |
| Text2live | ECCV'22 | Pengeditan gambar yang dipandu teks |
| Pix2pixzero | Siggraph'23 | Pengeditan gambar yang dipandu teks |
| MELUNCUR | Icml'22 | Pengeditan gambar yang dipandu topeng |
| Difusi campuran | Cvpr'22 | Pengeditan gambar yang dipandu topeng |
| Inpaining difusi yang stabil | - | Pengeditan gambar yang dipandu topeng |
| Difusi stabil XL inpainting | - | Pengeditan gambar yang dipandu topeng |
| TextualInversion | Iclr'23 | Pembuatan gambar yang digerakkan oleh subjek |
| Blip-difusi | arxiv'23 | Pembuatan gambar yang digerakkan oleh subjek |
| DreamBooth (+ Lora) | Cvpr'23 | Pembuatan gambar yang digerakkan oleh subjek |
| Photoswap | arxiv'23 | Pengeditan gambar yang digerakkan oleh subjek |
| Mimpi | arxiv'23 | Pengeditan gambar yang digerakkan oleh subjek |
| Difusi khusus | Cvpr'23 | Generasi multi-subjek-digerakkan |
| ControlNet | arxiv'23 | Pembuatan gambar yang dipandu kontrol |
| Unicontrol | arxiv'23 | Pembuatan gambar yang dipandu kontrol |
Kontribusi komunitas didorong!
ImageNhub masih dalam pengembangan. Lebih banyak model dan fitur akan ditambahkan dan kami selalu menyambut kontribusi untuk membantu membuat ImagenHub lebih baik. Jika Anda ingin berkontribusi, silakan periksa Contributing.md.
Kami percaya bahwa setiap orang dapat berkontribusi dan membuat perbedaan. Apakah itu menulis kode, memperbaiki bug?, Atau sekadar berbagi umpan balik, kontribusi Anda pasti disambut dan dihargai?
Dan jika Anda menyukai proyek ini, tetapi tidak punya waktu untuk berkontribusi, tidak apa -apa. Ada cara -cara mudah lainnya untuk mendukung proyek dan menunjukkan apresiasi Anda, yang juga akan sangat kami sukai:
- Membintangi proyek
- Tweet tentang itu
- Rujuk proyek ini di readme proyek Anda
- Sebutkan proyek di pertemuan lokal dan beri tahu teman/kolega Anda
T: Bagaimana saya bisa menggunakan metode evaluasi Anda untuk metode saya?
A: Silakan merujuk ke https://imagenhub.readthedocs.io/latest/guidelines/humaneval.html
T: Bagaimana cara menambahkan metode saya ke basis kode ImageNhub?
A: Silakan merujuk ke https://imagenhub.readthedocs.io/latest/guidelines/customodel.html
T: Saya ingin menampilkan metode saya di ImageNmuseum!
A: Silakan merujuk ke https://imagenhub.readthedocs.io/latest/guidelines/imagenmuseum.html
Harap kutip makalah kami jika Anda menggunakan kode, data, model, atau hasil kami:
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}Silakan merujuk ke AccnowledGements.md
Proyek ini dirilis di bawah lisensi.
