photoswap

Photoswap : 이미지에서 개인화 된 주제 교환

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[프로젝트 페이지] [종이]

모델 아키텍처

TODO

• 릴리스 벤치 마크
• 릴리스 코드

소식

• [2023.07.08] 코드를 발표했습니다.

개념 학습

자신의 개념으로 모델을 훈련시킵니다

새로운 주제는 확산 모델에서 새로운 토큰으로 배울 것입니다. Huggingface는 교육을위한 스크립트를 제공합니다. 자세히 텍스트 반전, Dreambooth, Custom Frifusion 또는 기타 개념 학습 모델을 사용할 수 있습니다. 해당 요구 사항에 패키지를 설치하십시오.

• 더 많은 소스 이미지는 더 나은 학습 개념으로 이어 지므로 더 나은 주제 스왑 결과입니다. 예를 들어, 훈련 중에 더 많은 인간의 얼굴 이미지가 더 나은 예술적 인물 전송으로 이어집니다.
• Dreambooth의 경우, 인코더를 미세 조정하면 특히 인간의 얼굴에 더 나은 성능이 향상됩니다. 또한 더 많은 메모리가 필요합니다.

Plotswap 모델을 다운로드하십시오

체크 포인트는 [email protected]로 문의하십시오.

주의 스왑

주제 교환을위한 아래 단계에 따라 :

1. 훈련 된 확산 모델 체크 포인트를 checkpoints 폴더에 넣으십시오.
2. requirements.txt 사용하여 패키지 설치 -TXT By pip install -r requirements.txt . 개념 학습 환경은주의 스왑에 적합하지 않습니다.
3. 제목 교환을 위해 real-image-swap.ipynb 실행.

다른 학습 개념은 성공적인 주제 교환을 위해 다른 스왑 단계를 가질 수 있습니다. 스와핑 단계와 텍스트 프롬프트를 조정하여 더 나은 성능을 제공합니다. 가중치를 조정 한 컨셉 모델은 일반적인 개념 생성 능력에있어서 탈지를 갖게됩니다. Photoswap으로 주제 교환을하려면 16GB 메모리가있는 단일 GPU가 필요합니다.

소환

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}