Zero Painter

ゼロペインター：テキスト間合成のためのトレーニングフリーのレイアウトコントロール[CVPR 2024]

このリポジトリは、ゼロペインターの公式実装です。

ゼロペインター：テキスト間合成のためのトレーニングフリーのレイアウトコントロール
Marianna Ohanyan*、Hayk Manukyan*、Zhangyang Wang、Shant Navasardyan、Humphrey Shi

arxiv

テキストプロンプトから詳細および制御された画像の作成を促進するレイアウト条件付きテキストから画像の合成のための新しいトレーニングフリーフレームワークであるゼロペインターを紹介します。私たちの方法は、オブジェクトマスクと個々の説明を使用して、グローバルテキストプロンプトと組み合わせて、高い忠実度を持つ画像を生成します。 Zero-Painterは、私たちの新しい迅速な調整された相互出席（PACA）および地域グループとグループ化されたクロスアテナンス（REGCA）ブロックを含む2段階のプロセスを採用し、テキストプロンプトとマスク形状で生成されたオブジェクトの正確なアラインメントを確保します。私たちの広範な実験は、ゼロペインターがテキストの詳細を維持し、マスクの形に付着する際に現在の最先端の方法を上回ることを示しています。

ニュース

• [2024.06.6] Zeropainterの紙とコードがリリースされます。
• [2024.02.27]論文はCVPR 2024に受け入れられています。

⚒⚒μインストール

pipでインストール：

pip3 install -r requirements.txt

？推論：ゼロペインターで画像を生成します

1. モデルをダウンロードして、 modelsフォルダーに入れます。
2. 次のスクリプトを使用して、指定されたマスクとプロンプトペアで推論を実行できます。

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata次の形式である必要があります

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

方法

---

？引用

あなたがあなたの研究で私たちの作品を使用するならば、私たちの出版物を引用してください：

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}