Stable Diffusion NCNN

稳定的扩散-NCNN

NCNN框架基于C ++，支持TXT2IMG和IMG2IMG实施稳定扩散！

Zhihu：https：//zhuanlan.zhihu.com/p/582552276

视频：https：//www.bilibili.com/video/bv15g411x7hc

txt2img性能（时间pre-it和ram）

每个	I7-12700（512x512）	i7-12700（256x256）	Snapdragon865（256x256）
慢的	4.85S/5.24G（7.07G）	1.05S/3.58G（4.02G）	1.6s/2.2g（2.6g）
快速地	2.85s/9.47g（11.29g）	0.65s/5.76g（6.20g）

消息

2023-03-11：很高兴添加IMG2IMG Android并发布新APK

2023-03-10：很高兴添加img2img x86

2023-01-19：加快速度，X86中的RAM，X86中的动态形状

2023-01-12：更新到最新的NCNN代码并使用优化模型，更新Android，添加内存监视器

2023-01-05：将256x256型号添加到X86项目

2023-01-04：合并并完成X86中的MHA OP，启用快速凝胶

演示

盒子

所有模型和EXE文件，您都可以从百度网盘或Google Drive下载或发布

如果您只需要NCNN型号，则可以从硬件模型库-设备专用模型搜索它，它将更快，免费。

X86 Windows

1. 输入文件夹Exe
2. 下载4个bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
3. 在magic.txt中设置您的配置，每行都是：
   1. 高度（必须是128的倍数，最低为256）
   2. 宽度（必须是128的倍数，最小值为256）
   3. 速度模式（0很慢，但低ram，1个快速但高ram）
   4. 步骤号（15还不错）
   5. 种子号（集0是随机的）
   6. init Image（如果文件存在，请运行IMG2IMG，如果不是，则运行txt2img）
   7. 积极提示（描述您想要什么）
   8. 负提示（描述您不想要什么）
4. 运行stable-diffusion.exe

Android APK

1. 从链接下载安装APK
2. 在顶部，第一个是步骤，第二个是种子
3. int底部，顶部为正提示，底部为负提示（设置为空以启用默认提示）
4. 注意：APK需要7G RAM，并且运行非常缓慢且功耗

实施详细信息

注意：请遵守SD模型的要求，不要将其用于非法目的

1. 稳定扩散的三个主要步骤：
   1. 剪辑：文字装饰
   2. （仅IMG2IMG）编码INIT图像以。
   3. 采样器的迭代采样
   4. 解码采样器结果以获得输出图像
2. 模型详细信息：
   1. 重量：Naifu（您知道在哪里可以找到）
   2. 采样器：Euler祖先（k-diffusion版本）
   3. 分辨率：动态形状，但必须是128的倍数，最小值为256
   4. Denoiser：Cfgdenoiser，CompvisDenoiser
   5. 提示：正面和负面，两者都得到支持:)

代码详细信息

补充X86 Windows

1. 下载4个bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
2. 打开VS2019项目并编译版本＆x64

补充X86 Linux / MacOS

1. 构建和安装NCNN
2. 用cmake构建演示

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. 下载3个bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin ，然后放置它们来build/assets文件夹
4. 运行演示

./stable-diffusion-ncnn

编译为Android

1. 下载三个bin文件： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin然后将它们放在assets文件夹中
2. 打开Android Studio并运行该项目

ONNX模型

我已经上传了稳定扩散使用的三种ONNX模型，以便您可以做一些有趣的工作。

您可以从上面的链接中找到它们。

语句

1. 请有意识地遵守稳定扩散模型的协议，不要将其用于非法目的！
2. 如果您使用这些ONNX型号进行开源项目，请告知我，我会跟随并期待您的下一个出色工作:)

指示

1. Frozendlipembednder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. UNETMODEL

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

参考

1. NCNN
2. OPENCV-MOBILE
3. 稳定扩散
4. k-diffusion
5. 稳定的扩散webui
6. 扩散器
7. 扩散器-NCNN