ImagenHub
v0.3.0
ImagenHub：条件付き画像生成モデルの評価の標準化
ICLR 2024
ImagenHubは、すべての条件付き画像生成モデルの推論と評価を標準化するためのワンストップライブラリです。
Pypiからのインストール：
pip install imagen-hub
またはソースからビルド：
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Dall-E、Dreamedit、BlipDiffusionなどのモデルについては、追加のセットアップをご覧ください
一部のモデル（安定した拡散、SDXL、COSXLなど）の場合、 huggingface-cliを介してログインする必要があります。
huggingface-cli login論文で報告された実験を再現するために：
テキスト誘導画像生成の例：
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.yml予想される出力構造は次のとおりです。
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...その後、実験を実行した後、実行できます
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml視覚化のためにindex.htmlファイルを生成します。
ファイルはこのようなものになります。 Imagen Museumで実験結果を開催しました。
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image チュートリアルとAPIドキュメントは、imagenhub.readthedocs.ioでホストされています。
研究とコラボレーションを合理化することにより、ImageHubは画像生成と編集の分野を推進する上で極めて重要な役割を果たします。
画像合成には30以上のモデルを含めました。ここで完全なリストを参照してください：
| 方法 | 会場 | タイプ |
|---|---|---|
| 安定した拡散 | - | テキストから画像への生成 |
| 安定した拡散XL | arxiv'23 | テキストから画像への生成 |
| deepfloyd-if | - | テキストから画像への生成 |
| OpenJourney | - | テキストから画像への生成 |
| Dall-E | - | テキストから画像への生成 |
| カンディンスキー | - | テキストから画像への生成 |
| マジックブラシ | arxiv'23 | テキストガイド付き画像編集 |
| instructpix2pix | CVPR'23 | テキストガイド付き画像編集 |
| diffedit | ICLR'23 | テキストガイド付き画像編集 |
| 想像 | CVPR'23 | テキストガイド付き画像編集 |
| cyclediffusion | ICCV'23 | テキストガイド付き画像編集 |
| sdedit | ICLR'22 | テキストガイド付き画像編集 |
| プロンプトから迅速 | ICLR'23 | テキストガイド付き画像編集 |
| text2live | ECCV'22 | テキストガイド付き画像編集 |
| pix2pixzero | siggraph'23 | テキストガイド付き画像編集 |
| グライド | ICML'22 | マスク誘導画像編集 |
| 混合拡散 | CVPR'22 | マスク誘導画像編集 |
| 安定した拡散インペインティング | - | マスク誘導画像編集 |
| 安定した拡散XLインペインティング | - | マスク誘導画像編集 |
| TextualInversion | ICLR'23 | サブジェクト駆動型の画像生成 |
| ブリップ拡散 | arxiv'23 | サブジェクト駆動型の画像生成 |
| dreambooth（+ lora） | CVPR'23 | サブジェクト駆動型の画像生成 |
| Photoswap | arxiv'23 | サブジェクト駆動型の画像編集 |
| Dreamedit | arxiv'23 | サブジェクト駆動型の画像編集 |
| カスタム拡散 | CVPR'23 | マルチサブジェクト駆動型の世代 |
| ControlNet | arxiv'23 | コントロールガイド画像生成 |
| ユニコントロール | arxiv'23 | コントロールガイド画像生成 |
コミュニティの貢献が奨励されています！
ImagenHubはまだ開発中です。より多くのモデルと機能が追加される予定であり、ImagenHubを改善するための貢献を常に歓迎します。貢献したい場合は、Convributing.mdをチェックしてください。
私たちは、誰もが貢献し、違いを生むことができると信じています。コードの作成、バグの修正、または単にフィードバックを共有するかどうかにかかわらず、貢献は間違いなく歓迎され、高く評価されていますか？
そして、あなたがプロジェクトが好きであるが、貢献する時間がないなら、それは大丈夫です。プロジェクトをサポートし、あなたの感謝を示す他の簡単な方法があります。
- プロジェクトに出演します
- それについてツイートします
- このプロジェクトをプロジェクトのREADMEで参照してください
- 地元のミートアップでプロジェクトに言及し、友達/同僚に伝えてください
Q：方法に評価方法を使用するにはどうすればよいですか？
A：https：//imagenhub.readthedocs.io/en/latest/guidelines/humaneval.htmlを参照してください
Q：ImagenHub CodeBaseにメソッドを追加するにはどうすればよいですか？
A：https：//imagenhub.readthedocs.io/en/latest/guidelines/custmodel.htmlを参照してください
Q：ImagenMuseumで自分の方法を紹介したい！
A：https：//imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.htmlを参照してください
コード、データ、モデル、または結果を使用している場合は、私たちの論文を引用してください。
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}謝辞を参照してください
このプロジェクトはライセンスの下でリリースされます。
