photoswap

FOTOSWAP: Personalisiertes Betreff in Bildern

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[Projektseite] [Papier]

Modellarchitektur

Todo

• Benchmark veröffentlichen
• Code freigeben

Nachricht

• [2023.07.08] Wir haben unseren Code veröffentlicht.

Konzeptlernen

Schulung eines Modells mit Ihrem eigenen Konzept

Das neue Thema wird als neues Token im Diffusionsmodell gelernt. SuggingFace bietet Skripte für das Training. Im Detail können Sie Textinversion, Dreambooth, benutzerdefinierte Diffusion oder ein anderes Konzept -Lernmodell verwenden. Stellen Sie sicher, dass Sie das Paket in den entsprechenden Anforderungen installieren.txt

• Weitere Quellbilder führen zu einem besser erlernten Konzept und damit zu einem besseren Ergebnis von Subjekten. Zum Beispiel führt mehr menschliche Gesichtsbilder während des Trainings zu einem besseren künstlerischen Figur -Transfer.
• Für Dreambooth führt die Finetuning the Encoder zu einer besseren Leistung, insbesondere für das menschliche Gesicht. Das würde auch mehr Speicher erfordern.

Laden Sie Photpswap -Modelle herunter

Bitte wenden Sie sich an [email protected] für Kontrollpunkte.

Achtungstausch

Befolgen Sie die folgenden Schritte, um das Subjekt auszuführen:

1. Setzen Sie den geschulten Diffusionsmodell -Checkpoint in checkpoints -Ordner ein.
2. Installieren Sie das Paket mit requirements.txt nach pip install -r requirements.txt . Beachten Sie, dass die Konzeptlernumgebung nicht für den Aufmerksamkeitswechsel geeignet ist.
3. Ausführen von real-image-swap.ipynb für den Subjektwechsel.

Unterschiedliche erlernte Konzepte könnten unterschiedliche Swap -Schritte für einen erfolgreichen Subjekttausch haben. Stimmen Sie den Tauschschritt und die Textaufforderung für eine bessere Leistung ab. Ein Konzeptmodell, das seine Gewichte abgestimmt hat, wird in seiner Fähigkeit zur allgemeinen Konzeptgenerierung eine Entration haben. Um das Betrug mit fotoswap zu tauschen, ist eine einzelne GPU mit 16 GB Speicher erforderlich.

Zitat

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}