photoswap

Photoswap: Pertukaran subjek yang dipersonalisasi dalam gambar

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[Halaman proyek] [kertas]

Arsitektur Model

Todo

• Rilis Benchmark
• Kode rilis

Berita

• [2023.07.08] Kami telah merilis kode kami.

Pembelajaran Konsep

Melatih model dengan konsep Anda sendiri

Subjek baru akan dipelajari sebagai token baru dalam model difusi. HuggingFace menyediakan skrip untuk pelatihan. Secara rinci, Anda dapat menggunakan Inversi Teks, DreamBooth, Difusi Kustom, atau model pembelajaran konsep lainnya. Pastikan untuk menginstal paket di persyaratan yang sesuai.txt

• Lebih banyak gambar sumber mengarah pada konsep yang dipelajari dengan lebih baik dan oleh karena itu hasil pertukaran subjek yang lebih baik. Misalnya, lebih banyak gambar wajah manusia selama pelatihan mengarah ke transfer figur artistik yang lebih baik.
• Bagi DreamBooth, finetuning encoder mengarah pada kinerja yang lebih baik, terutama untuk wajah manusia. Itu juga membutuhkan lebih banyak memori.

Unduh model photpswap

Silakan hubungi [email protected] untuk pos pemeriksaan.

Pertukaran Perhatian

Mengikuti langkah -langkah di bawah ini untuk melakukan pertukaran subjek:

1. Masukkan pos pemeriksaan model difusi terlatih di folder checkpoints .
2. Instal Paket Menggunakan requirements.txt oleh pip install -r requirements.txt . Perhatikan bahwa lingkungan belajar konsep tidak cocok untuk pertukaran perhatian.
3. Menjalankan real-image-swap.ipynb untuk pertukaran subjek.

Konsep terpelajar yang berbeda dapat memiliki langkah pertukaran yang berbeda untuk pertukaran subjek yang sukses. Menyetel langkah pertukaran dan permintaan teks untuk kinerja yang lebih baik. Model konsep yang memiliki bobotnya disetel akan memiliki degrasi dalam kemampuannya pada generasi konsep umum. Untuk melakukan pertukaran subjek dengan photoswap, diperlukan satu GPU dengan memori 16 GB.

Kutipan

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}