sd lora trainer

ผู้ฝึกสอน

ผู้ฝึกสอนนี้ได้รับการพัฒนาโดยทีม อีเด็น คุณสามารถลองผู้ฝึกสอนเวอร์ชันโฮสต์ของเราใน แอพของเรา มันเป็นเทรนเนอร์ที่ได้รับการปรับปรุงอย่างสูงซึ่งสามารถใช้สำหรับทั้งโมดูล finetuning และการฝึกอบรม LORA ที่ด้านบนของการแพร่กระจายที่มั่นคง ใช้สคริปต์การฝึกอบรมและโมดูลการสูญเสียครั้งเดียวที่ใช้ได้กับทั้ง SDV15 และ SDXL !

ผลลัพธ์ของเทรนเนอร์นี้เข้ากันได้อย่างสมบูรณ์กับ Comfyui และ Auto111 ดูเอกสารที่นี่ คู่มือเต็มรูปแบบเกี่ยวกับการฝึกอบรมสามารถพบได้ใน เอกสารของเรา

ภาพการฝึกอบรม:

IMG ที่สร้างขึ้นด้วย Lora ที่ผ่านการฝึกอบรม:

ผู้ฝึกสอนสามารถทำงานได้ 4 วิธี:

• เป็นบริการโฮสต์บนเว็บไซต์ของเรา
• เป็นบริการโฮสต์ผ่านการทำซ้ำ
• เป็นโหนด comfyui
• เป็นสคริปต์งูเหลือมแบบสแตนด์อโลน

ใช้ใน comfyui:

• ตัวอย่างเวิร์กโฟลว์สำหรับวิธีการเรียกใช้เทรนเนอร์และการอนุมานกับมันสามารถพบได้ใน /ComfyUI_workflows
• ที่สำคัญผู้ฝึกสอนคนนี้ใช้การเรียกใช้ CHATGPT เพื่อทำความสะอาดพรอมต์ที่สร้างโดยอัตโนมัติและฉีด OPENAI_API_KEY=your_key_string เค็นฝึกอบรมได้นี่จะใช้ได้เฉพาะในกรณีที่คุณมีไฟล์. ENV ที่มีคีย์ OpenAI ของคุณในรากของ repo dir ที่มีบรรทัดเดียว

ผู้ฝึกสอนรองรับ 3 โหมดเริ่มต้น:

• สไตล์ : ใช้สำหรับการเรียนรู้สไตล์ความงามของคอลเลกชันของภาพ
• ใบหน้า : ใช้สำหรับการเรียนรู้ใบหน้าที่เฉพาะเจาะจง (สามารถเป็นมนุษย์, ตัวละคร, ... )
• วัตถุ : จะเรียนรู้วัตถุหรือสิ่งที่เฉพาะเจาะจงในภาพการฝึกอบรม

ตัวอย่างการฝึกอบรมสไตล์:

การตั้งค่า

ติดตั้งการพึ่งพาทั้งหมดโดยใช้

pip install -r requirements.txt

จากนั้นคุณก็สามารถเรียกใช้:

python main.py train_configs/training_args.json เพื่อเริ่มงานฝึกอบรม

ปรับอาร์กิวเมนต์ภายใน training_args.json เพื่อตั้งค่างานฝึกอบรมที่กำหนดเอง

---

นอกจากนี้คุณยังสามารถเรียกใช้สิ่งนี้ผ่านการทำซ้ำโดยใช้ COG (~ Docker Image):

1. ติดตั้งซ้ำ 'COG':

 sudo curl -o /usr/local/bin/cog -L "https://github.com/replicate/cog/releases/latest/download/cog_$(uname -s)_$(uname -m)"
sudo chmod +x /usr/local/bin/cog

2. สร้างภาพด้วย cog build
3. รันการฝึกซ้อมด้วย sh cog_test_train.sh
4. นอกจากนี้คุณยังสามารถเข้าไปในคอนเทนเนอร์ด้วย cog run /bin/bash

Full UNET FINETUNING

เมื่อเรียกใช้เทรนเนอร์นี้ใน Native Python คุณยังสามารถดำเนินการ finetuning เต็มรูปแบบโดยใช้บางอย่างเช่น (ปรับตามความต้องการของคุณ) python main.py train_configs/full_finetuning_example.json

สิ่งที่ต้องทำ

ข้อบกพร่อง:

• การผกผันที่เป็นข้อความบริสุทธิ์สำหรับ SD15 ดูเหมือนจะไม่ทำงานได้ดี ... (แต่มันใช้งานได้ดีอย่างน่าอัศจรรย์สำหรับ SDXL ... ) ---> ถ้าใครสามารถคิดได้ว่าฉันจะรู้สึกขอบคุณตลอดไป!
• คิดว่าทำไมการฝึกอบรมช้ากว่า 3x ผ่านโหนด comfyui เมื่อเทียบกับเพียงแค่ใช้งาน main.py เป็นงาน Python .. ?
• แก้ไข bucketing appect_ratio ใน dataloader (ดู https://github.com/kohya-ss/sd-scripts)

การปรับปรุงที่ใหญ่กว่า:

• รวมฟลักซ์ / SD3
• เพิ่มการฝึกอบรมหลายแนวคิด (หลายสิ่งที่แสดงด้วยโทเค็นหลายตัวซึ่งได้รับการฝึกฝนให้เป็น LORA เดียว)
• เพิ่มการทำให้เป็นมาตรฐานโทเค็นที่แข็งแกร่งขึ้น (เช่น Celebbasis Spanning พื้นฐาน)
• ใช้แนวคิดการกระจาย (การล็อคคีย์ด้วย superclass): https://research.nvidia.com/labs/par/perfusion/
• ใช้งานการจัดตำแหน่งพร้อม: https://prompt-alligned.github.io/