Stable Diffusion NCNN

Difusão estável-NCNN

A difusão estável implementada pela NCNN Framework baseada em C ++, TXT2IMG suportada e IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

Vídeo: https://www.bilibili.com/video/bv15g411x7hc

TXT2IMG Performance (Time pré-it e Ram)

per-it	i7-12700 (512x512)	i7-12700 (256x256)	Snapdragon865 (256x256)
lento	4.85s/5.24g (7,07g)	1.05s/3,58g (4,02g)	1.6s/2.2g (2.6g)
rápido	2.85s/9.47g (11.29g)	0,65s/5.76g (6,20g)

Notícias

2023-03-11: Fico feliz em adicionar img2img android e lançar novo APK

2023-03-10: Fico feliz em adicionar img2img x86

2023-01-19: Acelerar e menos ram em x86, forma dinâmica em x86

2023-01-12: Atualização para o código NCNN mais recente e use o Modelo Otimize, Atualizar Android, Adicionar Memory Monitor

2023-01-05: Adicionar modelo 256x256 ao projeto x86

2023-01-04: Mesclar e termine o MHA OP em x86, Ativar Gelu Fast

Demonstração

Fora da caixa

Todos os modelos e arquivo exe que você pode baixar de 百度网盘 ou Google Drive ou liberação

Se você precisar apenas do modelo NCNN, pode pesquisá-lo em 硬件模型库-设备专用模型, seria mais rápido e gratuito.

x86 Windows

1. Digite a pasta exe
2. Faça o download do arquivo 4 bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin e coloque-os para assets
3. Configure sua configuração em magic.txt , cada linha é:
   1. altura (deve ser um múltiplo de 128, o mínimo é 256)
   2. largura (deve ser um múltiplo de 128, o mínimo é 256)
   3. Modo de velocidade (0 é lento, mas baixo, RAM, 1 é rápido, mas alto RAM)
   4. Número da etapa (15 não é ruim)
   5. Número de sementes (defina 0 para ser aleatório)
   6. Imagem init (se o arquivo existir, execute img2img, se não, execute txt2img)
   7. prompt positivo (descreva o que você deseja)
   8. Prompt negativo (descreva o que você não quer)
4. execute stable-diffusion.exe

APK Android

1. Baixe uma instalação do APK no link
2. No topo, o primeiro é o passo e o segundo é semente
3. Na parte inferior, a parte superior do prompt positivo e o de baixo negativo (defina vazio para ativar o prompt padrão)
4. NOTA: O APK precisa de 7g de RAM e corre muito lento e consumo de energia

Detalhes da implementação

Nota: Por favor, cumpra os requisitos do modelo SD e não o use para fins ilegais

1. Três etapas principais de difusão estável:
   1. Clipe: incorporação de texto
   2. (apenas img2img) codifique a imagem init para iniciar latente
   3. amostragem iterativa com amostrador
   4. Decode os resultados do amostrador para obter imagens de saída
2. Detalhes do modelo:
   1. Pesos ： Naifu (você sabe onde encontrar)
   2. Amostrador ： Euler ancestral (versão de difusão k)
   3. Resolução: forma dinâmica, mas deve ser um múltiplo de 128, o mínimo é 256
   4. Denoiser ： CfgDenoiser, CompvisDenoiser
   5. Prompt: positivo e negativo, ambos suportados :)

Detalhes do código

Complique pelo X86 Windows

1. Faça o download do arquivo 4 bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin e coloque-os para assets
2. Abra o projeto VS2019 e compile o lançamento e x64

Complique por x86 linux / macOS

1. Construa e instale NCNN
2. Construa a demonstração com cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Faça o download do arquivo 3 BIN: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin e coloque build/assets os na pasta
4. execute a demonstração

./stable-diffusion-ncnn

Compilar para Android

1. Faça o download do arquivo três bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin e coloque-os na pasta de assets
2. Open Android Studio e execute o projeto

Modelo Onnx

Eu carreguei os três modelos ONNX usados ​​pela Stable-Diffusion, para que você possa fazer algum trabalho interessante.

Você pode encontrá -los no link acima.

Declarações

1. Por favor, cumpra o acordo do modelo de difusão estável conscientemente e não o use para fins ilegais!
2. Se você usar esses modelos ONNX para fazer projetos de código aberto, informe -me e eu seguirei e aguardarei seu próximo excelente trabalho :)

Instruções

1. Frofenclípede

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. UNETMODEL

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Referências

1. ncnn
2. OpenCV-Mobile
3. difusão estável
4. K-difusão
5. estável difusão-webui
6. difusores
7. difusores-ncnn