ImagenHub
v0.3.0
ImagenHub : 조건부 이미지 생성 모델의 평가 표준화
ICLR 2024
ImagenHub는 모든 조건부 이미지 생성 모델의 추론 및 평가를 표준화하기위한 원 스톱 라이브러리입니다.
PYPI에서 설치 :
pip install imagen-hub
또는 소스에서 빌드 :
git clone https : // github . com / TIGER - AI - Lab / ImagenHub . git
cd ImagenHub
conda env create - f env_cfg / imagen_environment . yml
conda activate imagen
pip install - e .Dall-E, Dreamedit 및 Blipdiffusion과 같은 모델은 추가 설정을 참조하십시오.
일부 모델 (안정적인 확산, SDXL, COSXL 등)의 경우 huggingface-cli 를 통해 로그인해야합니다.
huggingface-cli login논문에보고 된 실험을 재현하기 위해 :
텍스트 유도 이미지 생성의 예 :
python3 benchmarking.py -cfg benchmark_cfg/ih_t2i.yml예상 출력 구조는 다음과 같습니다.
result_root_folder
└── experiment_basename_folder
├── input (If applicable)
│ └── image_1.jpg ...
├── model1
│ └── image_1.jpg ...
├── model2
│ └── image_1.jpg ...
├── ...그런 다음 실험을 실행 한 후 실행할 수 있습니다
python3 visualize.py --cfg benchmark_cfg/ih_t2i.yml 시각화를 위해 index.html 파일을 생성합니다.
파일은 이와 같은 것처럼 보일 것입니다. 우리는 Imagen Museum에서 실험 결과를 주최했습니다.
import imagen_hub
model = imagen_hub . load ( "SDXL" )
image = model . infer_one_image ( prompt = "people reading pictures in a museum, watercolor" , seed = 1 )
image from imagen_hub . metrics import MetricLPIPS
from imagen_hub . utils import load_image , save_pil_image , get_concat_pil_images
def evaluate_one ( model , real_image , generated_image ):
score = model . evaluate ( real_image , generated_image )
print ( "====> Score : " , score )
image_I = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/input/sample_102724_1.jpg" )
image_O = load_image ( "https://chromaica.github.io/Museum/ImagenHub_Text-Guided_IE/DiffEdit/sample_102724_1.jpg" )
show_image = get_concat_pil_images ([ image_I , image_O ], 'h' )
model = MetricLPIPS ()
evaluate_one ( model , image_I , image_O ) # ====> Score : 0.11225218325853348
show_image 튜토리얼 및 API 문서는 imagenHub.Readthedocs.io에서 호스팅됩니다.
ImageHub는 연구 및 협업을 간소화함으로써 이미지 생성 및 편집 분야를 추진하는 데 중추적 인 역할을합니다.
우리는 이미지 합성에 30 개 이상의 모델을 포함시켰다. 전체 목록을 참조하십시오.
| 방법 | 장소 | 유형 |
|---|---|---|
| 안정적인 확산 | - | 텍스트-이미지 생성 |
| 안정적인 확산 XL | arxiv'23 | 텍스트-이미지 생성 |
| Deepfloyd-If | - | 텍스트-이미지 생성 |
| OpenJourney | - | 텍스트-이미지 생성 |
| Dall-e | - | 텍스트-이미지 생성 |
| 칸딘스키 | - | 텍스트-이미지 생성 |
| MagicBrush | arxiv'23 | 텍스트 유도 이미지 편집 |
| instructpix2pix | CVPR'23 | 텍스트 유도 이미지 편집 |
| 확산 | ICLR'23 | 텍스트 유도 이미지 편집 |
| imagic | CVPR'23 | 텍스트 유도 이미지 편집 |
| 시절 | ICCV'23 | 텍스트 유도 이미지 편집 |
| sdedit | ICLR'22 | 텍스트 유도 이미지 편집 |
| 프롬프트 | ICLR'23 | 텍스트 유도 이미지 편집 |
| Text2Live | ECCV'22 | 텍스트 유도 이미지 편집 |
| pix2pixzero | Siggraph'23 | 텍스트 유도 이미지 편집 |
| 활주 | ICML'22 | 마스크 유도 이미지 편집 |
| 혼합 확산 | CVPR'22 | 마스크 유도 이미지 편집 |
| 안정적인 확산이 피어 팅 | - | 마스크 유도 이미지 편집 |
| 안정적인 확산 XL 입학 | - | 마스크 유도 이미지 편집 |
| textUalInversion | ICLR'23 | 주제 중심 이미지 생성 |
| 블립 분해 | arxiv'23 | 주제 중심 이미지 생성 |
| Dreambooth (+ lora) | CVPR'23 | 주제 중심 이미지 생성 |
| Photoswap | arxiv'23 | 주제 중심 이미지 편집 |
| Dreamedit | arxiv'23 | 주제 중심 이미지 편집 |
| 맞춤 확산 | CVPR'23 | 다중 개체 구동 생성 |
| Controlnet | arxiv'23 | 제어 유도 이미지 생성 |
| 단일 제어 | arxiv'23 | 제어 유도 이미지 생성 |
지역 사회 기여가 권장됩니다!
ImagenHub는 여전히 개발 중입니다. 더 많은 모델과 기능이 추가 될 예정이며 Imagenhub를 개선 할 수 있도록 항상 기여를 환영합니다. 기여하고 싶다면 Contributing.md를 확인하십시오.
우리는 모든 사람이 기여하고 변화를 만들 수 있다고 믿습니다. 코드 작성, 버그 수정? 또는 단순히 피드백을 공유하든, 귀하의 기여는 확실히 환영 받고 감사합니까?
그리고 프로젝트를 좋아하지만 기여할 시간이 없다면 괜찮습니다. 프로젝트를 지원하고 감사를 표하는 다른 쉬운 방법이 있습니다. 우리는 또한 매우 기뻐할 것입니다.
- 프로젝트를 시작하십시오
- 그것에 대해 트윗하십시오
- 이 프로젝트를 프로젝트의 readme에서 참조하십시오
- 지역 모임에서 프로젝트를 언급하고 친구/동료들에게 이야기하십시오.
Q : 내 방법에 대한 평가 방법을 어떻게 사용할 수 있습니까?
A : https://imagenhub.readthedocs.io/en/latest/guidelines/humaneval.html을 참조하십시오
Q : imagenHub 코드베이스에 메소드를 추가하려면 어떻게해야합니까?
A : https://imagenhub.readthedocs.io/en/latest/guidelines/custommodel.html을 참조하십시오
Q : ImagenMuseum에 내 방법을 특징으로하고 싶습니다!
A : https://imagenhub.readthedocs.io/en/latest/guidelines/imagenmuseum.html을 참조하십시오
우리의 코드, 데이터, 모델 또는 결과를 사용하는 경우 신문을 친절하게 인용하십시오.
@inproceedings {
ku2024imagenhub,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
booktitle = { The Twelfth International Conference on Learning Representations } ,
year = { 2024 } ,
url = { https://openreview.net/forum?id=OuV9ZrkQlc }
} @article { ku2023imagenhub ,
title = { ImagenHub: Standardizing the evaluation of conditional image generation models } ,
author = { Max Ku and Tianle Li and Kai Zhang and Yujie Lu and Xingyu Fu and Wenwen Zhuang and Wenhu Chen } ,
journal = { arXiv preprint arXiv:2310.01596 } ,
year = { 2023 }
}envidegement.md를 참조하십시오
이 프로젝트는 라이센스에 따라 릴리스됩니다.
