Zero Painter

零粉末：文本对图像合成的无训练布局控制[CVPR 2024]

该存储库是零粉刷的官方实施。

零粉末：文本对图像合成的无训练布局控制
Marianna Ohanyan*，Hayk Manukyan*，Zhangyang Wang，Shant Navasardyan，Humphrey Shi

arxiv

我们提出了零宠物，这是一个用于布局条件文本对图像合成的新型无培训框架，可促进从文本提示中创建详细和受控的图像。我们的方法利用对象掩码和单个描述，再加上全局文本提示，以生成具有高忠诚度的图像。零粉刷采用了两个阶段的过程，涉及我们新颖的及时调整的跨注意事项（PACA）和区域组交叉注意（REGCA）块，以确保具有文本提示和掩盖形状的生成对象的精确比对。我们的广泛实验表明，零粉丝在保留文本细节并粘附在掩盖形状方面方面超过了当前的最新方法。

消息

• [2024.06.6]释放了零蛋白纸和代码。
• [2024.02.27] CVPR 2024接受了纸张。

⚒️安装

使用pip安装：

pip3 install -r requirements.txt

？推理：用零涂料生成图像

1. 下载型号并将它们放入models文件夹中。
2. 您可以使用以下脚本在给定的掩码和提示对上执行推断：

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata应该采用以下格式

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

方法

---

？引用

如果您在研究中使用我们的工作，请引用我们的出版物：

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}