UniDiffusion

การไม่ได้

นำทางข้อพระ คัมภีร์ ของแบบจำลอง การแพร่กระจาย ด้วยเวิร์กโฟลว์ แบบหนึ่ง

การแนะนำ

UniDiffusion เป็นกล่องเครื่องมือที่ให้การฝึกอบรมที่ทันสมัยและอัลกอริธึมการอนุมานโดยใช้ diffusers UniDiffusion มีวัตถุประสงค์เพื่อนักวิจัยและผู้ใช้ที่ต้องการปรับแต่งการฝึกอบรมการแพร่กระจายที่มั่นคง เราหวังว่าพื้นที่เก็บข้อมูลรหัสนี้สามารถให้การสนับสนุนที่ยอดเยี่ยมสำหรับการวิจัยในอนาคตและส่วนขยายแอปพลิเคชัน

หากคุณต้องการนำสิ่งต่อไปนี้มาใช้ให้สนุกกับความไม่พร้อมด้วย

• ฝึกอบรม cross attention เท่านั้น (หรือเลเยอร์ convolution / feedforward / ... )
• ตั้งค่าการสลายตัวของ lr / weight decay ที่แตกต่างกัน / ... สำหรับเลเยอร์ที่แตกต่างกัน
• การใช้หรือสนับสนุนวิธีการ PEFT/PETL สำหรับเลเยอร์ที่แตกต่างกันและรวมเข้าด้วยกันได้อย่างง่ายดายเช่น finetune ชั้น convolution และอัปเดตเลเยอร์ความสนใจด้วย LORA
• ฝึกอบรมพารามิเตอร์ทั้งหมดในการแพร่กระจายที่เสถียรรวมถึง UNET, VAE, TEXT_ENCODER และบันทึกและโหลดโดยอัตโนมัติ

หมายเหตุ: UniDiffusion ยังอยู่ระหว่างการพัฒนา โมดูลบางอย่างถูกยืมมาจากที่เก็บรหัสอื่น ๆ และยังไม่ได้รับการทดสอบโดยเฉพาะอย่างยิ่งส่วนประกอบที่ไม่ได้เปิดใช้งานโดยค่าเริ่มต้นในระบบการกำหนดค่า เรากำลังทำงานอย่างหนักเพื่อปรับปรุงโครงการนี้

คุณสมบัติ

• การออกแบบแบบแยกส่วน UniDiffusion ได้รับการออกแบบด้วยสถาปัตยกรรมแบบแยกส่วน การออกแบบแบบแยกส่วนช่วยให้สามารถใช้วิธีการใหม่ได้อย่างง่ายดาย
• ระบบกำหนด ค่า ระบบ LazyConfig สำหรับไฟล์ไวยากรณ์ที่ยืดหยุ่นและสะอาดมากขึ้น
• ใช้งานง่าย
  • การฝึกอบรมแบบกระจาย : การใช้เร่งความเร็วเพื่อรองรับสภาพแวดล้อมการฝึกอบรมแบบกระจายทั้งหมด
  • ตัวติดตามการทดลอง : การใช้ WANDB เพื่อบันทึกข้อมูลการฝึกอบรมทั้งหมด
  • การประเมินแบบกระจาย : ประเมิน✅FID, ✅✅S, คะแนนคลิประหว่างการฝึกอบรม

เวิร์กโฟลว์การฝึกอบรมแบบครบวงจร

ในการแยกส่วนวิธีการฝึกทั้งหมดจะถูกย่อยสลายเป็นสามมิติ

• พารามิเตอร์ที่เรียนรู้ได้ : เลเยอร์ใดหรือโมดูลใดที่จะได้รับการอัปเดต
• วิธี PEFT/PETL : วิธีอัปเดต เช่น finetune, การปรับระดับต่ำ, อะแดปเตอร์ ฯลฯ
• กระบวนการฝึกอบรม : ค่าเริ่มต้นเป็น diffuion-denoising ซึ่งสามารถขยายได้เช่น XTI

ช่วยให้เราดำเนินการท่อฝึกอบรมแบบครบวงจรด้วยระบบกำหนดค่าที่แข็งแกร่ง

ตัวอย่างสำหรับความแตกต่างในเวิร์กโฟลว์การฝึกอบรมจากฐานรหัสอื่น ๆ

นี่คือตัวอย่างง่ายๆ ใน diffusers การฝึกอบรม text-to-image finetune และ dreambooth ชอบ:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

และการรวมหรือปรับวิธีการบางอย่างเป็นเรื่องยาก (เช่นการฝึกอบรมข้ามความสนใจระหว่าง Dreambooth) เท่านั้น

ในแบบแยกส่วนเราสามารถออกแบบอาร์กิวเมนต์การฝึกอบรมของเราเองในไฟล์กำหนดค่า:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

แล้ววิ่ง

accelerate launch scripts/train.py --config-file /path/to/your/config

สิ่งนี้อำนวยความสะดวกในการปรับแต่งการรวมกันและการปรับปรุงวิธีการที่ง่ายขึ้นและยังช่วยให้การเปรียบเทียบความคล้ายคลึงและความแตกต่างระหว่างวิธีการผ่านไฟล์การกำหนดค่า

การจับคู่ปกติสำหรับการเลือกโมดูล

ในแบบแยกส่วนเรามีระบบการจับคู่ปกติสำหรับการเลือกโมดูล ช่วยให้เราสามารถเลือกโมดูลโดยการจับคู่ปกติ ดูการจับคู่ปกติสำหรับการเลือกโมดูลสำหรับรายละเอียดเพิ่มเติม

การสนับสนุนที่มีประสิทธิภาพสำหรับวิธี PEFT/PETL

เราให้การสนับสนุนที่มีประสิทธิภาพสำหรับวิธี PEFT/PETL ดูวิธี PEFT/PETL สำหรับรายละเอียดเพิ่มเติม

- การติดตั้ง

1. ติดตั้งข้อกำหนดเบื้องต้น

• Python 3.10
• Pytorch 2.0 + Cuda11.8
• คนขี้เกียจ

2. ติดตั้งข้อกำหนด

pip install -e requirements.txt

3. การกำหนดค่าเร่งความเร็วและ Wandb

accelerate config
wandb login

- เริ่มต้น

ดูรถไฟผกผันที่เป็นข้อความ / dreambooth / lora / text-to-image finetune สำหรับรายละเอียด

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

การสาธิตโดยละเอียด

1. ฝึกฝนการผกผันที่เป็นข้อความ / dreambooth / lora / text-to-image finetune
2. ปรับแต่งกระบวนการฝึกอบรมของคุณ

[ทำ] การสอน

1. [TODO] สนับสนุนชุดข้อมูลใหม่
2. [TODO] สนับสนุนวิธี PETL ใหม่
3. [TODO] สนับสนุนท่อฝึกอบรมใหม่

- สวนสัตว์รุ่น

รองรับวิธีการตั้งค่าส่วนบุคคล

• Finetune ข้อความเป็นภาพ
• Dreambooth
• Lora
• การผกผัน
• xti
• การแพร่กระจายแบบกำหนดเอง

หมายเหตุ: วิธีการตั้งค่าส่วนบุคคลจะสลายตัวในพารามิเตอร์ที่สามารถฝึกอบรมได้วิธีการ PEFT/PETL และกระบวนการฝึกอบรมในการแยก ดูไฟล์กำหนดค่าสำหรับรายละเอียดเพิ่มเติม

วิธีการ PEFT/PETL ที่รองรับ

• finetune
• Lora
• ผู้ส่ง

สิ่งที่ต้องทำ

เราจะเพิ่มคุณสมบัติต่อไปนี้ในอนาคต นอกจากนี้เรายังยินดีต้อนรับการมีส่วนร่วมจากชุมชน อย่าลังเลที่จะดึงคำขอหรือเปิดปัญหาเพื่อหารือเกี่ยวกับแนวคิดสำหรับคุณสมบัติใหม่

• วิธีการ :
  • การเก็บรักษาของนักบวชความหมายในชั้นเรียน (Dreambooth)
  • XTI & Custom Diffusion
  • Repadapter และ Lycoris
• คุณสมบัติ :
  • ผสาน Peft เข้ากับรุ่นดั้งเดิม
  • แปลงโมเดลเป็นรูปแบบ diffusers และ webui
  • ส่วนขยาย WebUI

ผลงาน

เรายินดีต้อนรับการมีส่วนร่วมจากชุมชนโอเพ่นซอร์ส!

รับทราบ

• เทรนเนอร์การแพร่กระจายถูกสร้างขึ้นบนพื้นฐานของ diffusers
• การออกแบบโมดูลจำนวนมากยืมมาจาก Detectron2 และ Detrex
• การใช้วิธีการบางอย่างถูกยืมมาจาก diffusers และ Lycoris

การอ้างอิง

หากคุณใช้กล่องเครื่องมือนี้ในการวิจัยของคุณหรือต้องการอ้างถึงผลลัพธ์พื้นฐานที่เผยแพร่ที่นี่โปรดใช้รายการ BIBTEX ต่อไปนี้:

• อ้างถึง ความไม่ลงรอยกัน :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

การอ้างอิงอัลกอริทึม

มาเร็ว ๆ นี้