Zero Painter

Painter cero: control de diseño sin entrenamiento para síntesis de texto a imagen [CVPR 2024]

Este repositorio es la implementación oficial de cero pintor.

Painter cero: control de diseño sin entrenamiento para síntesis de texto a imagen
Marianna Ohanyan*, Hayk Manukyan*, Zhangyang Wang, Shant Navasardyan, Humphrey Shi

Arxiv

Presentamos cero-pintor , un nuevo marco sin entrenamiento para la síntesis de texto a imagen condicional de diseño que facilita la creación de imágenes detalladas y controladas a partir de indicaciones textuales. Nuestro método utiliza máscaras de objetos y descripciones individuales, junto con un mensaje de texto global, para generar imágenes con alta fidelidad. El pintor cero emplea un proceso de dos etapas que involucra nuestros novedosos bloques de atención cruzada ajustada (PACA) y asistencia cruzada agrupada por región (RECCA) , asegurando una alineación precisa de los objetos generados con indicaciones textuales y formas de máscaras. Nuestros extensos experimentos demuestran que el pintor cero supera los métodos actuales de última generación en la preservación de los detalles textuales y se adhiere a las formas de enmascarar.

Noticias

• [2024.06.6] Se libera el documento y el código de Zeropainter.
• [2024.02.27] El documento se acepta para CVPR 2024.

⚒️ Instalación

Instalar con pip :

pip3 install -r requirements.txt

? Inferencia: generar imágenes con cero painador

1. Descargue modelos y póngalos en la carpeta de models .
2. Puede usar el siguiente script para realizar una inferencia en el par de máscara dada y su solicitud:

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata debería estar en el siguiente formato

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

Método

---

? Citación

Si usa nuestro trabajo en su investigación, cite nuestra publicación:

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}