Zero Painter

零粉末：文本對圖像合成的無訓練佈局控制[CVPR 2024]

該存儲庫是零粉刷的官方實施。

零粉末：文本對圖像合成的無訓練佈局控制
Marianna Ohanyan*，Hayk Manukyan*，Zhangyang Wang，Shant Navasardyan，Humphrey Shi

arxiv

我們提出了零寵物，這是一個用於佈局條件文本對圖像合成的新型無培訓框架，可促進從文本提示中創建詳細和受控的圖像。我們的方法利用對象掩碼和單個描述，再加上全局文本提示，以生成具有高忠誠度的圖像。零粉刷採用了兩個階段的過程，涉及我們新穎的及時調整的跨注意事項（PACA）和區域組交叉注意（REGCA）塊，以確保具有文本提示和掩蓋形狀的生成對象的精確比對。我們的廣泛實驗表明，零粉絲在保留文本細節並粘附在掩蓋形狀方面方面超過了當前的最新方法。

消息

• [2024.06.6]釋放了零蛋白紙和代碼。
• [2024.02.27] CVPR 2024接受了紙張。

⚒️安裝

使用pip安裝：

pip3 install -r requirements.txt

？推理：用零塗料生成圖像

1. 下載型號並將它們放入models文件夾中。
2. 您可以使用以下腳本在給定的掩碼和提示對上執行推斷：

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata應該採用以下格式

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

方法

---

？引用

如果您在研究中使用我們的工作，請引用我們的出版物：

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}