photoswap

Photoswap: sujets personnalisés échangeant des images

Jing GU, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neirips 2023

[Page du projet] [Papier]

Architecture modèle

FAIRE

• Release Benchmark
• Code de libération

Nouvelles

• [2023.07.08] Nous avons publié notre code.

Apprentissage du concept

Former un modèle avec votre propre concept

Le nouveau sujet sera appris comme un nouveau jeton dans le modèle de diffusion. Huggingface fournit des scripts pour la formation. En détail, vous pouvez utiliser l'inversion du texte, Dreambooth, la diffusion personnalisée ou tout autre modèle d'apprentissage conceptuel. Assurez-vous d'installer le package dans les exigences correspondantes.txt

• Plus d'images source conduisent à un concept mieux appris et donc à un meilleur résultat d'échange de sujets. Par exemple, plus d'images de visage humain pendant l'entraînement conduisent à un meilleur transfert de figure artistique.
• Pour Dreambooth, Finetuning, le codeur mène à une meilleure performance, en particulier pour le visage humain. Cela nécessiterait également plus de mémoire.

Télécharger les modèles PhotPswap

Veuillez contacter [email protected] pour les points de contrôle.

Échange d'attention

Suivant les étapes ci-dessous pour faire l'échange de sujets:

1. Mettez le dossier de contrôle du modèle de diffusion formé dans le dossier checkpoints .
2. Installez le package à l'aide de requirements.txt par pip install -r requirements.txt . Notez que l'environnement d'apprentissage du concept ne convient pas au swap d'attention.
3. Exécuter real-image-swap.ipynb pour l'échange de sujets.

Différents concepts appris pourraient avoir différentes étapes d'échange pour un échange de sujets réussi. Réglage de l'étape d'échange et l'invite de texte pour de meilleures performances. Un modèle de concept qui a ses poids réglés aura une dégradation de sa capacité à la génération de concepts généraux. Pour faire des échanges de sujets avec PhotosWap, un seul GPU avec une mémoire de 16 Go est nécessaire.

Citation

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}