ctrlora

ภาพถูกบีบอัดสำหรับความเร็วในการโหลด

Ctrlora

Ctrlora: เฟรมเวิร์กที่ขยายได้และมีประสิทธิภาพสำหรับการสร้างภาพที่ควบคุมได้
Yifeng Xu ^1,2 , Zhenliang HE ¹ , Shiguang Shan ^1,2 , Xilin Chen ^1,2
1 ห้องปฏิบัติการสำคัญของ AI Safety, Institute of Computing Technology, CAS, China
² มหาวิทยาลัยวิทยาศาสตร์แห่งมหาวิทยาลัยวิทยาศาสตร์จีน

ก่อนอื่นเราฝึกอบรม ฐานควบคุมฐาน พร้อมกับ loras เฉพาะเงื่อนไข บนเงื่อนไขฐานด้วยชุดข้อมูลขนาดใหญ่ จากนั้นฐานควบคุมของเราสามารถปรับให้เข้ากับเงื่อนไขใหม่โดย New Loras ด้วย น้อยถึง 1,000 ภาพและน้อยกว่า 1 ชั่วโมงใน GPU เดียว -

- ผลการมองเห็น

- การสร้างที่ควบคุมได้ใน "เงื่อนไขพื้นฐาน"

- รุ่นควบคุมได้ใน "เงื่อนไขใหม่"

- บูรณาการเข้ากับโมเดลชุมชนและการสร้างหลายเงื่อนไข

- แอปพลิเคชันเพื่อถ่ายโอนสไตล์

การติดตั้ง

โคลน repo นี้:

git clone --depth 1 https://github.com/xyfJASON/ctrlora.git
cd ctrlora

สร้างและเปิดใช้งานสภาพแวดล้อม conda ใหม่:

conda create -n ctrlora python=3.10
conda activate ctrlora

ติดตั้ง pytorch และการพึ่งพาอื่น ๆ :

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117
pip install -r requirements.txt

️ดาวน์โหลดรุ่นที่ผ่านการฝึกอบรม

เราให้แบบจำลองที่ผ่านการฝึกฝนของเราที่นี่ กรุณาใส่ ฐานควบคุม ( ctrlora_sd15_basecn700k.ckpt ) ลงใน ./ckpts/ctrlora-basecn ctrlora-basecn และ loras เข้าสู่ ./ckpts/ctrlora-loras ctrlora-loras อนุสัญญาการตั้งชื่อของ LORAS คือ ctrlora_sd15_<basecn>_<condition>.ckpt สำหรับเงื่อนไขพื้นฐานและ ctrlora_sd15_<basecn>_<condition>_<images>_<steps>.ckpt สำหรับเงื่อนไขใหม่

คุณต้องดาวน์โหลด โมเดลที่ใช้ SD1.5 และใส่ลงใน ./ckpts/sd15 ckpts/SD15 แบบจำลองที่ใช้ในงานของเรา:

• การแพร่กระจายที่เสถียร v1.5 ( v1-5-pruned.ckpt ): อย่างเป็นทางการ / กระจก
• วิสัยทัศน์ที่สมจริง
• Dreamshaper
• อะนิเมะ Mistoon
• ทารกการ์ตูน
• ภาพวาดสีน้ำมัน
• หมึก
• แถบการ์ตูนหมึกจีน
• มิกซ์ดินสอหินชนวน
• Aziib Pixel Mix

การสาธิต Gradio

python app/gradio_ctrlora.py

ต้องใช้ RAM GPU อย่างน้อย 9GB/21GB เพื่อสร้างภาพหนึ่ง/สี่ภาพ 512x512

รุ่นเดียว

1. เลือกจุดตรวจสอบการแพร่กระจายที่เสถียร, จุดตรวจสอบฐานควบคุมและจุดตรวจ LORA
2. เขียนพรอมต์และพรอมต์เชิงลบ เราให้พรอมต์ที่ใช้กันทั่วไปหลายประการ
3. เตรียมภาพเงื่อนไข
   • อัปโหลดรูปภาพไปทางซ้ายของแผง "เงื่อนไข" เลือกตัวประมวลผลล่วงหน้าที่สอดคล้องกับ LORA และคลิก "ตรวจจับ"
   • หรืออัปโหลดภาพเงื่อนไขโดยตรงเลือก "ไม่มี" ตัวประมวลผลล่วงหน้าและคลิก "ตรวจจับ"
4. คลิก "เรียกใช้" เพื่อสร้างภาพ
5. หากคุณอัปโหลดจุดตรวจใหม่ใด ๆ ให้รีสตาร์ท Gradio หรือคลิก "Refresh"

รุ่นหลายเงื่อนไข

แอปพลิเคชันเพื่อถ่ายโอนสไตล์

1. เลือกจุดตรวจสอบการแพร่กระจายที่เสถียรเพื่อระบุสไตล์เป้าหมายเช่นพิกเซล
2. เลือกจุดตรวจสอบ Base ControlNet
3. เลือก จานสี สำหรับจุดตรวจ LORA1 และ LineArt สำหรับจุดตรวจ LORA2
   • Palette + Canny หรือ Palette + Hed ยังใช้งานได้บางทีอาจมีชุดค่าผสมที่น่าสนใจกว่าที่จะค้นพบ
4. เขียนพรอมต์และพรอมต์เชิงลบ
5. อัปโหลดภาพต้นทางไปยังแผง "เงื่อนไข 1" เลือกตัวประมวลผลล่วงหน้า "ไม่มี" และคลิก "ตรวจจับ"
6. อัปโหลดภาพต้นทางไปยังแผง "เงื่อนไข 2" เลือก "lineart" preprocessor และคลิก "ตรวจจับ"
7. ปรับน้ำหนักสำหรับสองเงื่อนไขในแผง "ตัวเลือกพื้นฐาน"
8. คลิก "เรียกใช้" เพื่อสร้างภาพ

ฝึก LORA สำหรับสภาพที่กำหนดเองของคุณ

ขึ้นอยู่กับฐานควบคุมของเราคุณสามารถฝึกอบรม LORA สำหรับสภาพที่กำหนดเองของคุณด้วยภาพน้อยเพียง 1,000 ภาพและน้อยกว่า 1 ชั่วโมงใน GPU เดียว (20GB)

ก่อนอื่นให้ดาวน์โหลดการแพร่กระจายที่เสถียร v1.5 ( v1-5-pruned.ckpt ) ลงใน ./ckpts/sd15 และฐานควบคุม ( ctrlora_sd15_basecn700k.ckpt ) เข้าสู่ ./ckpts/ctrlora-basecn ctrlora-basecn ตามที่อธิบายไว้ข้างต้น

ประการที่สองใส่ข้อมูลที่กำหนดเองของคุณลงใน ./data/<custom_data_name> ด้วยโครงสร้างต่อไปนี้:

 data
└── custom_data_name
    ├── prompt.json
    ├── source
    │   ├── 0000.jpg
    │   ├── 0001.jpg
    │   └── ...
    └── target
        ├── 0000.jpg
        ├── 0001.jpg
        └── ...

• source มามีภาพเงื่อนไขเช่นขอบกระป๋องแผนที่การแบ่งส่วนภาพความลึก ฯลฯ
• target มีภาพความจริงพื้นดินที่สอดคล้องกับภาพเงื่อนไข
• แต่ละบรรทัดของ prompt.json ควรทำตามรูปแบบเช่น {"source": "source/0000.jpg", "target": "target/0000.jpg", "prompt": "The quick brown fox jumps over the lazy dog."}

ประการที่สามเรียกใช้คำสั่งต่อไปนี้เพื่อฝึก LORA สำหรับเงื่อนไขที่กำหนดเองของคุณ:

python scripts/train_ctrlora_finetune.py 
    --dataroot ./data/ < custom_data_name > 
    --config ./configs/ctrlora_finetune_sd15_rank128.yaml 
    --sd_ckpt ./ckpts/sd15/v1-5-pruned.ckpt 
    --cn_ckpt ./ckpts/ctrlora-basecn/ctrlora_sd15_basecn700k.ckpt 
    [--name NAME] 
    [--max_steps MAX_STEPS]

• --dataroot : เส้นทางไปยังข้อมูลที่กำหนดเอง
• --name : ชื่อของการทดลอง ไดเรกทอรีการบันทึกจะเป็น ./runs/name /name ค่าเริ่มต้น: เวลาปัจจุบัน
• --max_steps : จำนวนขั้นตอนการฝึกอบรมสูงสุด ค่าเริ่มต้น: 100000

หลังจากการฝึกอบรมให้สกัดน้ำหนัก LORA ด้วยคำสั่งต่อไปนี้:

python scripts/tool_extract_weights.py -t lora --ckpt CHECKPOINT --save_path SAVE_PATH

• --ckpt : เส้นทางไปยังจุดตรวจที่ผลิตโดยการฝึกอบรมด้านบน
• --save_path : PATH เพื่อบันทึกน้ำหนัก LORA ที่แยกออกมา

ในที่สุดใส่ lora ที่สกัดลงใน ./ckpts/ctrlora-loras ctrlora-loras และใช้ในการสาธิต Gradio

คำแนะนำโดยละเอียด

โปรดดูคำแนะนำที่นี่สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการฝึกอบรมการปรับแต่งและการประเมินผล

- การรับทราบ

โครงการนี้สร้างขึ้นจากการแพร่กระจายที่มั่นคงการควบคุมและ unicontrol ขอบคุณสำหรับการทำงานที่ยอดเยี่ยม!

• การแพร่กระจายที่เสถียร v1.5: https://github.com/runwayml/stable-diffusion
• Controlnet v1.0: https://github.com/lllyasviel/controlnet
• Controlnet v1.1: https://github.com/lllyasviel/controlnet-v1-1-nightly
• unicontrol: https://github.com/salesforce/unicontrol

? ️การอ้างอิง

หากคุณพบว่าโครงการนี้มีประโยชน์โปรดพิจารณาอ้าง:

 @article { xu2024ctrlora ,
  title = { CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation } ,
  author = { Xu, Yifeng and He, Zhenliang and Shan, Shiguang and Chen, Xilin } ,
  journal = { arXiv preprint arXiv:2410.09400 } ,
  year = { 2024 }
}