PuLID

PuLID (NeurIPS 2024)

PuLID: การปรับแต่ง ID ที่แท้จริงและสายฟ้าผ่านการจัดตำแหน่งที่ตัดกัน

Zinan Guo*, Yanze Wu*✝, Zhuowei Chen, Lang Chen, Peng Zhang, Qian He
(*ผลงานที่เท่าเทียมกัน ✝ผู้เขียนที่สอดคล้องกัน)
ByteDance อิงค์

อัพเดท

• 10.31.2024 : เรามีความยินดีที่จะเปิดตัวรุ่นล่าสุดของเรา PuLID-v1.1 และ PuLID-FLUX-v0.9.1 ดูเพิ่มเติมใน Model Zoo และรุ่น pulid v1.1 นอกจากนี้เรายังอัปเดตฉบับแก้ไขใหม่สำหรับรายงาน arXiv ซึ่งรวมถึงผลลัพธ์ รายละเอียด และการวิเคราะห์เพิ่มเติม โปรดตรวจสอบ

• 2024.09.26 : PuLID ได้รับการยอมรับจาก NeurIPS 2024

• 12.09.2024 : เรารู้สึกตื่นเต้นที่จะประกาศการเปิด ตัวรุ่น PuLID-FLUX-v0.9.0 สนุกกับการสำรวจความสามารถของมัน! - เรียนรู้เพิ่มเติมเกี่ยวกับโมเดลนี้

• 2024.05.23 : แบ่งปันตัวอย่างโมเดล v1.1 ที่กำลังจะมาถึงของเรา โปรดติดตาม

• 2024.05.01 : ปล่อยโค้ด&รุ่น v1 พร้อมด้วย ?HuggingFace Demo

• 2024.04.25 : ปล่อยกระดาษ arXiv

PuLID สำหรับฟลักซ์

โปรดตรวจสอบเอกสารและการสาธิต PuLID-FLUX ที่นี่

เราจะอัปเดตและดูแลรักษาพื้นที่เก็บข้อมูลนี้อย่างแข็งขันในอนาคตอันใกล้นี้ ดังนั้นโปรดคอยติดตาม

อัปเดต

• การสาธิต gradio ท้องถิ่นพร้อมแล้ว

• การสาธิต HuggingFace ออนไลน์พร้อมแล้วในขณะนี้

• เราได้ปรับโค้ดให้เหมาะสมเพื่อรองรับ GPUS ระดับผู้บริโภค และตอนนี้ PuLID-FLUX สามารถทำงานบนการ์ดกราฟิกขนาด 16GB ได้ ตรวจสอบรายละเอียดได้ที่นี่

• (การใช้งานชุมชน) การสาธิตการจำลองแบบออนไลน์พร้อมแล้วในขณะนี้

• การสาธิต gradio ในเครื่องรองรับกราฟิกการ์ด 12GB แล้ว

• v0.9.1 พร้อมแล้วตอนนี้

ผลลัพธ์ด้านล่างนี้สร้างด้วย PuLID-FLUX

ตัวอย่าง

รูปภาพที่สร้างด้วย PuLIDApplications ของเรา

pulid_demo.mp4

สวนสัตว์จำลอง

เวอร์ชัน	โมเดลพื้นฐาน	คำอธิบาย
PuLID-v1	SDXL	โมเดลกระดาษ.
PuLID-v1.1	SDXL	เมื่อเปรียบเทียบกับ PuLID-v1 แล้ว ความเข้ากันได้ที่ดีกว่า การแก้ไขได้ ความเป็นธรรมชาติของใบหน้า และความคล้ายคลึงกัน
PuLID-FLUX-v0.9.0	ฟลักซ์	เวอร์ชันแรกของเราสำหรับ PuLID-FLUX การติดตามพร้อมท์และคุณภาพของภาพที่ดีขึ้น (เนื่องจาก FLUX มีประสิทธิภาพมากกว่า SDXL) แต่ความเที่ยงตรงของ ID นั้นไม่สูงเพียงพอสำหรับอินพุตชายบางตัว
PuLID-FLUX-v0.9.1	ฟลักซ์	เมื่อเทียบกับ PuLID-FLUX-v0.9.0 ความเที่ยงตรงของ ID ที่ดีกว่า จากตัวชี้วัดเชิงปริมาณของความคล้ายคลึงกันของ ID การปรับปรุงคือประมาณ 5 เปอร์เซ็นต์ ในขณะเดียวกันความสามารถในการแก้ไขยังคงเหมือนเดิม

การพึ่งพาและการติดตั้ง

• Python >= 3.9 (แนะนำให้ใช้ Anaconda หรือ Miniconda)

• PyTorch >= 2.0 หากคุณไม่ต้องการ flux-dev-fp8 มิฉะนั้น PyTorch >= 2.4.1

 # clone PuLID repogit clone https://github.com/ToTheBeginning/PuLID.gitcd PuLID# สร้าง conda envconda สร้าง --name pulid python=3.10# เปิดใช้งาน envconda เปิดใช้งาน pulid# ติดตั้งแพ็คเกจที่ต้องพึ่งพา # 1. หากคุณไม่ต้องการฟลักซ์ -fp8 เช่น คุณกำลังใช้ xl หรือ flux-bf16 ให้ติดตั้งสิ่งต่อไปนี้ ข้อกำหนด.txtpip ติดตั้ง -r ข้อกำหนด.txt# 2 หากคุณต้องการ flux-fp8 (เพื่อใส่ฟลักซ์บน gpu ระดับผู้บริโภค) ให้ติดตั้งข้อกำหนดต่อไปนี้

การอนุมานอย่างรวดเร็ว

การสาธิต Gradio ท้องถิ่น

 # สำหรับ v1 versionpython app.py# สำหรับ v1.1 versionpython app_v1.1.py --base BASE_MODEL
การใช้งาน:
  - ฐาน: สามารถเป็น RunDiffusion/Juggernaut-XL-v9 หรือ Lykon/dreamshaper-xl-lightning

การสาธิต HuggingFace ออนไลน์

ขอบคุณสำหรับการอนุญาต GPU จากทีม HuggingFace คุณสามารถลองสาธิต PuLID HF ได้ใน https://huggingface.co/spaces/yanze/PuLID

แหล่งข้อมูลที่เกี่ยวข้อง

ต่อไปนี้คือการใช้งาน PuLID โดยบุคคลที่สามบางส่วนที่เราพบในอินเทอร์เน็ต เราขอขอบคุณความพยายามของนักพัฒนาที่เกี่ยวข้องในการทำให้ PuLID เข้าถึงได้สำหรับผู้ชมในวงกว้างขึ้น หากมีทรัพยากรและแอปพลิเคชันที่ใช้ PuLID ใดๆ ที่เราไม่ได้กล่าวถึงในที่นี้ โปรดแจ้งให้เราทราบ แล้วเราจะรวมไว้ในรายการนี้

การสาธิตออนไลน์

• Colab : https://github.com/camenduru/PuLID-jupyter จัดทำโดย camenduru

• ทำซ้ำ (PuLID) : https://replicate.com/zsxkib/pulid ให้บริการโดย zsxkib

• ทำซ้ำ (PuLID-FLUX) : https://replicate.com/zsxkib/flux-pulid ให้บริการโดย zsxkib

UI ที่สะดวกสบาย

• https://github.com/cubiq/PuLID_ComfyUI จัดทำโดย cubiq การใช้งาน ComfyUI ดั้งเดิม

• https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO จัดทำโดย ZHO การใช้งานแบบใช้ตัวกระจายสัญญาณ

เว็บ UI

• Mikubill/sd-webui-controlnet#2838 จัดทำโดย huchenlei

ข้อสงวนสิทธิ์

โครงการนี้มุ่งมั่นที่จะส่งผลกระทบต่อขอบเขตของการสร้างภาพที่ขับเคลื่อนด้วย AI ในเชิงบวก ผู้ใช้ได้รับอิสระในการสร้างภาพโดยใช้เครื่องมือนี้ แต่ต้องปฏิบัติตามกฎหมายท้องถิ่นและใช้งานอย่างมีความรับผิดชอบ นักพัฒนาไม่รับผิดชอบต่อการใช้งานในทางที่ผิดโดยผู้ใช้

การอ้างอิง

หาก PuLID มีประโยชน์ โปรดช่วย ⭐ repo

หากคุณพบว่าโครงการนี้มีประโยชน์สำหรับการวิจัยของคุณ โปรดพิจารณาอ้างอิงรายงานของเรา:

 @article{guo2024pulid, title={PuLID: Pure and Lightning ID Customization via Contrastive Alignment}, author={Guo, Zinan และ Wu, Yanze และ Chen, Zhuowei และ Chen, Lang และ He, Qian}, วารสาร={arXiv พิมพ์ล่วงหน้า arXiv :2404.16022}, ปี={2024}}

ติดต่อ

หากคุณมีความคิดเห็นหรือคำถามใด ๆ โปรดเปิดประเด็นใหม่หรือติดต่อ Yanze Wu และ Zinan Guo ได้เลย