Stable Diffusion NCNN

انتشار مستقر ncnn

تنفيذ مستقر تنفذه NCNN Framework على أساس C ++ ، مدعوم TXT2IMG و IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

الفيديو: https://www.bilibili.com/video/bv15g411x7hc

أداء TXT2IMG (وقت ما قبل ذلك وذاكرة الوصول العشوائي)

لكل	i7-12700 (512x512)	i7-12700 (256x256)	Snapdragon865 (256x256)
بطيئة	4.85S/5.24G (7.07G)	1.05s/3.58g (4.02g)	1.6s/2.2g (2.6 جم)
سريع	2.85s/9.47g (11.29g)	0.65s/5.76g (6.20g)

أخبار

2023-03-11: سعيد لإضافة img2img android وإصدار APK جديد

2023-03-10: سعيد لإضافة IMG2IMG X86

2023-01-19: تسرع وأقل ذاكرة الوصول العشوائي في x86 ، الشكل الديناميكي في x86

2023-01-12: التحديث إلى أحدث رمز NCNN واستخدم نموذج تحسين ، تحديث Android ، أضف Memory Monitor

2023-01-05: أضف طراز 256x256 إلى مشروع x86

2023-01-04: دمج وإنهاء MHA OP في x86 ، تمكين Fast Gelu

العرض التوضيحي

خارج الصندوق

جميع الطرز وملف exe الذي يمكنك تنزيله من 百度网盘 أو Google Drive أو الإصدار

إذا كنت بحاجة فقط إلى نموذج NCNN ، فيمكنك البحث عنه من 硬件模型库-设备专用模型 ، فسيكون ذلك أسرع وحرة.

X86 Windows

1. أدخل المجلد exe
2. قم بتنزيل 4 bin file: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin وأضعها في مجلد assets
3. قم بإعداد التكوين الخاص بك في magic.txt ، كل سطر هو:
   1. الارتفاع (يجب أن يكون مضاعف 128 ، الحد الأدنى هو 256)
   2. العرض (يجب أن يكون مضاعف 128 ، الحد الأدنى هو 256)
   3. وضع السرعة (0 بطيء ولكن ذاكرة الوصول العشوائي المنخفض ، 1 سريع ولكن ذاكرة الوصول العشوائي العالية)
   4. رقم الخطوة (15 ليس سيئًا)
   5. رقم البذور (تعيين 0 ليكون عشوائيا)
   6. صورة init (إذا كان الملف موجودًا ، قم بتشغيل IMG2IMG ، إن لم يكن ، قم بتشغيل TXT2IMG)
   7. موجه موجب (صف ما تريد)
   8. موجه سلبي (صف ما لا تريده)
4. تشغيل stable-diffusion.exe

Android APK

1. قم بتنزيل تثبيت APK من الرابط
2. في الأعلى ، أول خطوة هي الخطوة والثانية هي البذور
3. int في الجزء السفلي ، الجزء العلوي من المطالبة الإيجابية والمطالبة السفلية السلبية (تعيين فارغة لتمكين المطالبة الافتراضية)
4. ملاحظة: يحتاج APK إلى ذاكرة الوصول العشوائي 7G ، وتشغيلها بطيئًا للغاية واستهلاك الطاقة

تفاصيل التنفيذ

ملاحظة: يرجى الامتثال لمتطلبات نموذج SD وعدم استخدامه لأغراض غير قانونية

1. ثلاث خطوات رئيسية للانتشار المستقر ：
   1. مقطع: embedding النص
   2. (فقط IMG2IMG) تشفير صورة init إلى init كامن
   3. أخذ العينات التكرارية مع أخذ العينات
   4. فك تشفير نتائج أخذ العينات للحصول على صور الإخراج
2. تفاصيل النموذج ：
   1. الأوزان ： نيفو (أنت تعرف مكان العثور عليها)
   2. أخذ عينات ： أولر أجداد (نسخة k-diffusion)
   3. الدقة ： الشكل الديناميكي ، ولكن يجب أن يكون مضاعف 128 ، الحد الأدنى هو 256
   4. Denoiser ： CFGDENOISER ، Compvisdenoiser
   5. موجه ： إيجابي وسلبي ، كلاهما مدعوم :)

تفاصيل الرمز

يلفت الانتباه إلى Windows x86

1. قم بتنزيل 4 bin file: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin وأضعها في مجلد assets
2. افتح مشروع VS2019 وتجميع الإصدار و X64

يلفت الانتباه إلى X86 Linux / MacOS

1. بناء وتثبيت NCNN
2. بناء العرض التوضيحي مع cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. قم بتنزيل ملف 3 bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin ووضعها على build/assets مجلد
4. تشغيل العرض التوضيحي

./stable-diffusion-ncnn

تجميع Android

1. قم بتنزيل ثلاثة ملف bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin ووضعها في مجلد assets
2. افتح Android Studio وقم بتشغيل المشروع

نموذج ONNX

لقد قمت بتحميل نماذج ONNX الثلاثة التي تستخدمها الانتشار المستقر ، بحيث يمكنك القيام ببعض الأعمال المثيرة للاهتمام.

يمكنك العثور عليها من الرابط أعلاه.

البيانات

1. يرجى الالتزام بموافقة نموذج الانتشار المستقر بوعي ، ولا تستخدمه لأغراض غير قانونية!
2. إذا كنت تستخدم نماذج ONNX هذه لإنشاء مشاريع مفتوحة المصدر ، فيرجى إبلاغي وسأتابع وأتطلع إلى عملك الرائع التالي :)

تعليمات

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. unetmodel

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

مراجع

1. NCNN
2. opencv-mobile
3. انتشار مستقر
4. k-diffusion
5. مستقر الانتشار webui
6. الناشرون
7. الناشرون NCNN