Zero Painter

Paintador zero: controle de layout sem treinamento para síntese de texto para imagem [CVPR 2024]

Este repositório é a implementação oficial do pintor zero.

Paintor zero: controle de layout sem treinamento para síntese de texto para imagem
Marianna Ohanyan*, Hayk Manukyan*, Zhangyang Wang, Shant Navasardyan, Humphrey Shi

Arxiv

Apresentamos o pintor zero , uma nova estrutura livre de treinamento para a síntese de texto para imagem que facilita a criação de imagens detalhadas e controladas a partir de instruções textuais. Nosso método utiliza máscaras de objetos e descrições individuais, juntamente com um prompt de texto global, para gerar imagens com alta fidelidade. O pintor zero emprega um processo de dois estágios envolvendo nossos novos blocos de atendimento cruzado (REGCA), e da região pronta (RegCA) , garantindo o alinhamento preciso de objetos gerados com instruções textuais e formas de máscara. Nossos extensos experimentos demonstram que o pintor zero supera os métodos atuais de última geração na preservação de detalhes textuais e aderindo às formas de mascarar.

Notícias

• [2024.06.6] O papel e o código do ZeroPainter são liberados.
• [2024.02.27] O papel é aceito no CVPR 2024.

⚒️ Instalação

Instale com pip :

pip3 install -r requirements.txt

? Inferência: Gere imagens com pintor zero

1. Faça o download dos modelos e coloque -os na pasta models .
2. Você pode usar o seguinte script para realizar a inferência no par de máscara e solicita:

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata deveria estar no seguinte formato

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

Método

---

? Citação

Se você usar nosso trabalho em sua pesquisa, cite nossa publicação:

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}