Zero Painter

제로 페인터 : 텍스트-이미지 합성을위한 훈련없는 레이아웃 제어 [CVPR 2024]

이 저장소는 제로 페인터의 공식 구현입니다.

제로 페인터 : 텍스트-이미지 합성을위한 훈련없는 레이아웃 제어
Marianna Ohanyan*, Hayk Manukyan*, Zhangyang Wang, Shant Navasardyan, Humphrey Shi

arxiv

우리는 텍스트 프롬프트에서 상세하고 제어 된 이미지의 생성을 용이하게하는 레이아웃 조건부 텍스트-이미지 합성을위한 새로운 훈련이없는 프레임 워크 인 Zero-Painter를 제시합니다. 우리의 방법은 객체 마스크 및 개별 설명을 사용하여 전역 텍스트 프롬프트와 결합하여 높은 충실도를 가진 이미지를 생성합니다. Zero-Painter는 우리의 새로운 프롬프트 조정 크로스 텐션 (PACA) 및 지역 그룹 간 크로스 텐션 (RegCA) 블록과 관련된 2 단계 프로세스를 사용하여 텍스트 프롬프트 및 마스크 모양과 생성 된 객체의 정확한 정렬을 보장합니다. 우리의 광범위한 실험은 제로 페인터가 텍스트 세부 사항을 보존하고 마스크 모양을 준수하는 데있어 현재의 최신 방법을 능가한다는 것을 보여줍니다.

소식

• [2024.06.6] Zeropainter 종이 및 코드가 공개됩니다.
• [2024.02.27] 종이는 CVPR 2024에 허용됩니다.

⚒️ 설치

pip 로 설치 :

pip3 install -r requirements.txt

? 추론 : 제로 페인터로 이미지를 생성합니다

1. 모델을 다운로드하여 models 폴더에 넣습니다.
2. 다음 스크립트를 사용하여 주어진 마스크 ​​및 프롬프트 쌍에서 추론을 수행 할 수 있습니다.

 python zero_painter.py 
  --mask-path data/masks/1_rgb.png 
  --metadata data/metadata/1.json 
  --output-dir data/outputs/

meatadata 는 다음 형식입니다

 [{
    "prompt": "Brown gift box beside red candle.",
    "color_context_dict": {
        "(244, 54, 32)": "Brown gift box",
        "(54, 245, 32)": "red candle"
    }
}]

방법

---

? 소환

귀하의 연구에서 우리의 작업을 사용하는 경우, 출판물을 인용하십시오.

 @article{Zeropainter,
title={Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis},
url={http://arxiv.org/abs/2406.04032},
publisher={arXiv},
author={Ohanyan, Marianna and Manukyan, Hayk and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
year={2024}}