Stable Diffusion NCNN

Difusión estable-ncnn

¡Difusión estable implementada por NCNN Framework basado en C ++, admitido TXT2Img e IMG2Img!

Zhihu: https://zhuanlan.zhihu.com/p/5825552276

Video: https://www.bilibili.com/video/bv15g411x7hc

Txt2Img Performance (Time Pre-IT y RAM)

PER-IT	I7-12700 (512x512)	I7-12700 (256x256)	Snapdragon865 (256x256)
lento	4.85s/5.24g (7.07g)	1.05s/3.58g (4.02g)	1.6S/2.2G (2.6G)
rápido	2.85s/9.47g (11.29g)	0.65s/5.76g (6.20 g)

Noticias

2023-03-11: Feliz de agregar IMG2Img Android y lanzar un nuevo APK

2023-03-10: feliz de agregar img2img x86

2023-01-19: Acelerar y menos RAM en x86, forma dinámica en x86

2023-01-12: Actualice el último código NCNN y use el modelo Optimize, actualice Android, agregue Memory Monitor

2023-01-05: agregue el modelo 256x256 al proyecto X86

2023-01-04: fusionar y terminar la OP MHA en x86, habilitar Gelu rápido

Manifestación

Fuera de la caja

Todos los modelos y archivo exe que puede descargar desde 百度网盘 o google drive o lanzamiento

Si solo necesita modelo NCNN, puede buscarlo desde 硬件模型库-设备专用模型, sería más rápido y gratuito.

X86 Windows

1. Ingrese la carpeta EXE
2. Descargar 4 archivos de bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin y ponerlos a la carpeta de assets
3. Configure su configuración en magic.txt , cada línea es:
   1. Altura (debe ser un múltiplo de 128, el mínimo es 256)
   2. Ancho (debe ser un múltiplo de 128, el mínimo es 256)
   3. Modo de velocidad (0 es lento pero bajo RAM, 1 es rápido pero alto Ram)
   4. número de paso (15 no es malo)
   5. número de semilla (establecido 0 para ser aleatorio)
   6. Imagen init (si el archivo existe, ejecute IMG2Img, si no, ejecute TXT2Img)
   7. Aviso positivo (describe lo que quieres)
   8. Aviso negativo (describe lo que no quieres)
4. ejecutar stable-diffusion.exe

Android APK

1. Descargue una instalación del APK desde el enlace
2. En la parte superior, el primero es el paso y el segundo es la semilla
3. int la parte inferior, la parte superior, la solicitud positiva y la inferior negativa (configure vacío para habilitar el indicador predeterminado)
4. Nota: El APK necesita 7G RAM y ejecuta un consumo muy lento y de energía

Detalles de implementación

Nota: Cumplir con los requisitos del modelo SD y no lo use para fines ilegales

1. Tres pasos principales de difusión estable:
   1. Clip: texto incrustado
   2. (solo img2img) codifica la imagen init a init latente
   3. Muestreo iterativo con muestra
   4. decodifique los resultados de la muestra para obtener imágenes de salida
2. Detalles del modelo:
   1. Pesos: Naifu (sabes dónde encontrar)
   2. Sampler: Euler Ancestral (versión K-Diffusion)
   3. Resolución: forma dinámica, pero debe ser un múltiplo de 128, el mínimo es 256
   4. Denoiser: cfgdenoiser, compvisdenoiser
   5. Aviso: positivo y negativo, ambos compatibles :)

Detalles del código

Complie para X86 Windows

1. Descargar 4 archivos de bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin y ponerlos a la carpeta de assets
2. Abra el proyecto VS2019 y compile el lanzamiento y x64

Complie para x86 Linux / macOS

1. construir e instalar ncnn
2. Construye la demostración con cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Descargar 3 archivos de bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin y ponerlos en la carpeta build/assets
4. ejecutar la demostración

./stable-diffusion-ncnn

Compilar para Android

1. Descargue tres archivos de bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin y póngalos en la carpeta de assets
2. Abra Android Studio y ejecute el proyecto

Modelo ONNX

He subido los tres modelos ONNX utilizados por difusión estable, para que pueda hacer un trabajo interesante.

Puede encontrarlos desde el enlace de arriba.

Declaraciones

1. ¡Por favor, cumpla con el acuerdo del modelo de difusión estable conscientemente y no lo use para fines ilegales!
2. Si usa estos modelos ONNX para hacer proyectos de código abierto, infórmeme y seguiré y esperaré su próximo gran trabajo :)

Instrucciones

1. Congelado

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. Untmodelo

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Referencias

1. ncnn
2. opencv-mobile
3. difusión estable
4. K-difusión
5. Estable-Difusión-Webui
6. difusor
7. difusores-ncnn