Stable Diffusion NCNN

การแพร่กระจายที่เสถียร -NCNN

การกระจายความเสถียรนำไปใช้โดย NCNN Framework ตาม C ++ รองรับ TXT2IMG และ IMG2IMG ที่รองรับ!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

วิดีโอ: https://www.bilibili.com/video/bv15g411x7hc

ประสิทธิภาพ txt2img (เวลา pre-it และ ram)

ต่อ-มัน	I7-12700 (512x512)	I7-12700 (256x256)	Snapdragon865 (256x256)
ช้า	4.85S/5.24G (7.07G)	1.05S/3.58G (4.02G)	1.6S/2.2G (2.6G)
เร็ว	2.85S/9.47G (11.29G)	0.65S/5.76G (6.20G)

ข่าว

2023-03-11: ยินดีที่จะเพิ่ม IMG2IMG Android และปล่อย APK ใหม่

2023-03-10: มีความสุขที่จะเพิ่ม img2img x86

2023-01-19: เร็วขึ้น & น้อยลง RAM ใน x86 รูปร่างแบบไดนามิกใน x86

2023-01-12: อัปเดตเป็นรหัส NCNN ล่าสุดและใช้โมเดลที่ดีที่สุดอัปเดต Android เพิ่ม Memory Monitor

2023-01-05: เพิ่ม 256x256 รุ่นไปยังโครงการ x86

2023-01-04: ผสานและจบ MHA OP ใน x86 เปิดใช้งาน Fast Gelu

การสาธิต

นอกกรอบ

ไฟล์ทุกรุ่นและ exe ที่คุณสามารถดาวน์โหลดได้จาก百度网盘หรือ Google Drive หรือ Release

หากคุณต้องการรุ่น NCNN เท่านั้นคุณสามารถค้นหาได้จาก硬件模型库-设备专用模型มันจะเร็วขึ้นและฟรี

x86 windows

1. ป้อนโฟลเดอร์ exe
2. ดาวน์โหลด 4 bin file: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
3. ตั้งค่า config ของคุณใน magic.txt แต่ละบรรทัดคือ:
   1. ความสูง (ต้องเป็นคูณ 128 ขั้นต่ำคือ 256)
   2. ความกว้าง (ต้องเป็นคูณ 128 ขั้นต่ำคือ 256)
   3. โหมดความเร็ว (0 ช้า แต่ต่ำ RAM, 1 เร็ว แต่สูง RAM)
   4. หมายเลขขั้นตอน (15 ไม่เลว)
   5. หมายเลขเมล็ด (ตั้งค่า 0 เป็นแบบสุ่ม)
   6. ภาพเริ่มต้น (หากมีไฟล์ให้เรียกใช้ img2img ถ้าไม่เรียกใช้ txt2img)
   7. พรอมต์บวก (อธิบายสิ่งที่คุณต้องการ)
   8. พรอมต์เชิงลบ (อธิบายสิ่งที่คุณไม่ต้องการ)
4. เรียกใช้ stable-diffusion.exe

Android apk

1. ดาวน์โหลดการติดตั้ง APK จากลิงค์
2. ด้านบนสุดแรกคือขั้นตอนและอันที่สองคือเมล็ดพันธุ์
3. int ด้านล่างด้านบนหนึ่งพรอมต์บวกและพรอมต์ลบหนึ่งด้านล่าง (ตั้งค่าว่างเปล่าเพื่อเปิดใช้งานพรอมต์เริ่มต้น)
4. หมายเหตุ: APK ต้องการ RAM 7G และทำงานช้ามากและใช้พลังงาน

รายละเอียดการใช้งาน

หมายเหตุ: โปรดปฏิบัติตามข้อกำหนดของโมเดล SD และอย่าใช้เพื่อวัตถุประสงค์ที่ผิดกฎหมาย

1. สามขั้นตอนหลักของการกระจายเสถียร：
   1. คลิป: การฝังตัวข้อความ
   2. (img2img เท่านั้น) เข้ารหัสอิมเมจ init เพื่อเริ่มต้นแฝง
   3. การสุ่มตัวอย่างซ้ำกับตัวอย่าง
   4. ถอดรหัสผลลัพธ์ตัวอย่างเพื่อให้ได้ภาพเอาต์พุต
2. รายละเอียดรุ่น：
   1. น้ำหนัก： Naifu (คุณรู้ว่าจะหาที่ไหน)
   2. Sampler： บรรพบุรุษออยเลอร์ (เวอร์ชัน K-diffusion)
   3. ความละเอียด： รูปร่างแบบไดนามิก แต่ต้องเป็นหลาย 128 ขั้นต่ำคือ 256
   4. denoiser： Cfgdenoiser, compvisdenoiser
   5. พรอมต์： บวกและลบทั้งสองรองรับ :)

รายละเอียดรหัส

สอดคล้องกับ x86 windows

1. ดาวน์โหลด 4 bin file: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
2. เปิดโครงการ VS2019 และรวบรวมการเปิดตัว & x64

สอดคล้องกับ x86 linux / macOS

1. สร้างและติดตั้ง NCNN
2. สร้างตัวอย่างด้วย cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. ดาวน์โหลด 3 bin file: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin และนำไป build/assets
4. เรียกใช้การสาธิต

./stable-diffusion-ncnn

รวบรวมสำหรับ Android

1. ดาวน์โหลดสามไฟล์ bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin และนำไปไว้ในโฟลเดอร์ assets
2. เปิดสตูดิโอ Android และดำเนินโครงการ

รุ่น ONNX

ฉันได้อัปโหลดโมเดล ONNX สามรุ่นที่ใช้โดยการกระจายความเสถียรเพื่อให้คุณสามารถทำงานที่น่าสนใจได้

คุณสามารถค้นหาได้จากลิงค์ด้านบน

งบ

1. โปรดปฏิบัติตามข้อตกลงของแบบจำลองการแพร่กระจายที่มั่นคงอย่างมีสติและอย่าใช้เพื่อวัตถุประสงค์ที่ผิดกฎหมาย!
2. หากคุณใช้โมเดล ONNX เหล่านี้เพื่อทำโครงการโอเพนซอร์สโปรดแจ้งให้ฉันทราบและฉันจะติดตามและรอคอยการทำงานที่ยอดเยี่ยมครั้งต่อไปของคุณ :)

คำแนะนำ

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. ไม่ได้สร้างโมเดล

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

การอ้างอิง

1. ncnn
2. Opencv-mobile
3. การหักหลัง
4. K-diffusion
5. เสถียร
6. เครื่องกระจาย
7. diffusers-ncnn