Stable Diffusion NCNN

穩定的擴散-NCNN

NCNN框架基於C ++，支持TXT2IMG和IMG2IMG實施穩定擴散！

Zhihu：https：//zhuanlan.zhihu.com/p/582552276

視頻：https：//www.bilibili.com/video/bv15g411x7hc

txt2img性能（時間pre-it和ram）

每個	I7-12700（512x512）	i7-12700（256x256）	Snapdragon865（256x256）
慢的	4.85S/5.24G（7.07G）	1.05S/3.58G（4.02G）	1.6s/2.2g（2.6g）
快速地	2.85s/9.47g（11.29g）	0.65s/5.76g（6.20g）

消息

2023-03-11：很高興添加IMG2IMG Android並發布新APK

2023-03-10：很高興添加img2img x86

2023-01-19：加快速度，X86中的RAM，X86中的動態形狀

2023-01-12：更新到最新的NCNN代碼並使用優化模型，更新Android，添加內存監視器

2023-01-05：將256x256型號添加到X86項目

2023-01-04：合併並完成X86中的MHA OP，啟用快速凝膠

演示

盒子

所有模型和EXE文件，您都可以從百度網盤或Google Drive下載或發布

如果您只需要NCNN型號，則可以從硬件模型庫-設備專用模型搜索它，它將更快，免費。

X86 Windows

1. 輸入文件夾Exe
2. 下載4個bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
3. 在magic.txt中設置您的配置，每行都是：
   1. 高度（必須是128的倍數，最低為256）
   2. 寬度（必須是128的倍數，最小值為256）
   3. 速度模式（0很慢，但低ram，1個快速但高ram）
   4. 步驟號（15還不錯）
   5. 種子號（集0是隨機的）
   6. init Image（如果文件存在，請運行IMG2IMG，如果不是，則運行txt2img）
   7. 積極提示（描述您想要什麼）
   8. 負提示（描述您不想要什麼）
4. 運行stable-diffusion.exe

Android APK

1. 從鏈接下載安裝APK
2. 在頂部，第一個是步驟，第二個是種子
3. int底部，頂部為正提示，底部為負提示（設置為空以啟用默認提示）
4. 注意：APK需要7G RAM，並且運行非常緩慢且功耗

實施詳細信息

注意：請遵守SD模型的要求，不要將其用於非法目的

1. 穩定擴散的三個主要步驟：
   1. 剪輯：文字裝飾
   2. （僅IMG2IMG）編碼INIT圖像以。
   3. 採樣器的迭代採樣
   4. 解碼採樣器結果以獲得輸出圖像
2. 模型詳細信息：
   1. 重量：Naifu（您知道在哪裡可以找到）
   2. 採樣器：Euler祖先（k-diffusion版本）
   3. 分辨率：動態形狀，但必須是128的倍數，最小值為256
   4. Denoiser：Cfgdenoiser，CompvisDenoiser
   5. 提示：正面和負面，兩者都得到支持:)

代碼詳細信息

補充X86 Windows

1. 下載4個bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
2. 打開VS2019項目並編譯版本＆x64

補充X86 Linux / MacOS

1. 構建和安裝NCNN
2. 用cmake構建演示

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. 下載3個bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin ，然後放置它們來build/assets文件夾
4. 運行演示

./stable-diffusion-ncnn

編譯為Android

1. 下載三個bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin然後將它們放在assets文件夾中
2. 打開Android Studio並運行該項目

ONNX模型

我已經上傳了穩定擴散使用的三種ONNX模型，以便您可以做一些有趣的工作。

您可以從上面的鏈接中找到它們。

語句

1. 請有意識地遵守穩定擴散模型的協議，不要將其用於非法目的！
2. 如果您使用這些ONNX型號進行開源項目，請告知我，我會跟隨並期待您的下一個出色工作:)

指示

1. Frozendlipembednder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. UNETMODEL

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

參考

1. NCNN
2. OPENCV-MOBILE
3. 穩定擴散
4. k-diffusion
5. 穩定的擴散webui
6. 擴散器
7. 擴散器-NCNN