photoswap

Photoswap: การแลกเปลี่ยนเรื่องส่วนตัวในภาพ

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, เขา Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[หน้าโครงการ] [กระดาษ]

สถาปัตยกรรมแบบจำลอง

สิ่งที่ต้องทำ

• เกณฑ์มาตรฐาน
• รหัสปล่อย

ข่าว

• [2023.07.08] เราได้เปิดตัวรหัสของเราแล้ว

การเรียนรู้แนวคิด

การฝึกอบรมแบบจำลองด้วยแนวคิดของคุณเอง

เรื่องใหม่จะได้รับการเรียนรู้ว่าเป็นโทเค็นใหม่ในรูปแบบการแพร่กระจาย HuggingFace ให้สคริปต์สำหรับการฝึกอบรม ในรายละเอียดคุณสามารถใช้การผกผันข้อความ Dreambooth การแพร่กระจายที่กำหนดเองหรือรูปแบบการเรียนรู้แนวคิดอื่น ๆ ตรวจสอบให้แน่ใจว่าได้ติดตั้งแพ็คเกจในข้อกำหนดที่สอดคล้องกัน txt

• ภาพแหล่งที่มาเพิ่มเติมนำไปสู่แนวคิดที่เรียนรู้ที่ดีขึ้นและดังนั้นจึงเป็นผลลัพธ์การแลกเปลี่ยนเรื่องที่ดีกว่า ตัวอย่างเช่นภาพใบหน้าของมนุษย์มากขึ้นในระหว่างการฝึกอบรมนำไปสู่การถ่ายโอนรูปศิลปะที่ดีขึ้น
• สำหรับ Dreambooth การเข้ารหัสตัวเข้ารหัสจะนำไปสู่ประสิทธิภาพที่ดีขึ้นโดยเฉพาะอย่างยิ่งสำหรับใบหน้ามนุษย์ ที่จะต้องใช้หน่วยความจำมากขึ้น

ดาวน์โหลดรุ่น Photpswap

กรุณาติดต่อ [email protected] สำหรับจุดตรวจ

การแลกเปลี่ยนความสนใจ

ทำตามขั้นตอนด้านล่างเพื่อทำการแลกเปลี่ยนเรื่อง:

1. ใส่จุดตรวจสอบการแพร่กระจายที่ผ่านการฝึกอบรมในโฟลเดอร์ checkpoints
2. ติดตั้งแพ็คเกจโดยใช้ requirements.txt โดย pip install -r requirements.txt โปรดทราบว่าสภาพแวดล้อมการเรียนรู้แนวคิดไม่เหมาะสำหรับการแลกเปลี่ยนความสนใจ
3. เรียกใช้ real-image-swap.ipynb สำหรับการแลกเปลี่ยนหัวเรื่อง

แนวคิดที่เรียนรู้ที่แตกต่างกันอาจมีขั้นตอนการแลกเปลี่ยนที่แตกต่างกันสำหรับการแลกเปลี่ยนเรื่องที่ประสบความสำเร็จ การปรับขั้นตอนการสลับและพรอมต์ข้อความเพื่อประสิทธิภาพที่ดีขึ้น แบบจำลองแนวคิดที่มีน้ำหนักที่ปรับแต่งจะมีความสามารถในการสร้างแนวคิดทั่วไปในการสร้างแนวคิดทั่วไป ในการทำการแลกเปลี่ยนหัวเรื่องด้วย photoswap จำเป็นต้องใช้ GPU เดียวที่มีหน่วยความจำ 16 GB

การอ้างอิง

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}