Stable Diffusion NCNN

Diffusion stable-ncnn

Diffusion stable implémentée par NCNN Framework basée sur C ++, prise en charge TXT2IMG et IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

Vidéo: https://www.bilibili.com/video/bv15g411x7hc

Performance txt2img (temps pré-it et ram)

par rapport	I7-12700 (512x512)	I7-12700 (256x256)	Snapdragon865 (256x256)
lent	4,85s / 5,24g (7,07g)	1,05s / 3,58g (4,02g)	1.6s / 2,2g (2,6 g)
rapide	2,85s / 9,47g (11,29g)	0,65s / 5,76 g (6,20g)

Nouvelles

2023-03-11: heureux d'ajouter IMG2IMG Android et de publier un nouvel APK

2023-03-10: heureux d'ajouter IMG2IMG x86

2023-01-19: accélérer et moins de RAM en x86, forme dynamique en x86

2023-01-12: Mise à jour du dernier code NCNN et utilisez le modèle Optimize, mettez à jour Android, ajoutez un moniteur de mémoire

2023-01-05: Ajouter un modèle 256x256 au projet x86

2023-01-04: fusionnez et terminez le MHA OP en x86, activez Fast Gelu

Démo

Hors de boîte

Tous les modèles et fichiers EXE que vous pouvez télécharger à partir de 百度网盘 ou Google Drive ou Release

Si vous n'avez besoin que du modèle NCNN, vous pouvez le rechercher à partir de 硬件模型库 - 设备专用模型, ce serait plus rapide et gratuit.

X86 Windows

1. Entrez le dossier exe
2. Téléchargez 4 bac Fichier: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin et placez-les à assets Folder
3. Configurez votre configuration dans magic.txt , chaque ligne est:
   1. hauteur (doit être un multiple de 128, le minimum est de 256)
   2. Largeur (doit être un multiple de 128, le minimum est de 256)
   3. Le mode de vitesse (0 est lent mais faible RAM, 1 est rapide mais élevé RAM)
   4. Numéro de pas (15 n'est pas mauvais)
   5. Numéro de graine (réglez 0 pour être aléatoire)
   6. Init Image (si le fichier existe, exécutez IMG2IMG, sinon, exécutez txt2img)
   7. Invite positive (décrivez ce que vous voulez)
   8. Invite négative (décrivez ce que vous ne voulez pas)
4. exécuter stable-diffusion.exe

Android APK

1. Téléchargez une installation de l'APK à partir du lien
2. En haut, le premier est le pas et le second est la graine
3. int le bas, le haut de l'invite positive et l'invite négative inférieure (définir vide pour activer l'invite par défaut)
4. Remarque: L'APK a besoin de RAM 7G et fonctionne très lentement et la consommation d'énergie

Détails de la mise en œuvre

Remarque: veuillez respecter les exigences du modèle SD et ne pas l'utiliser à des fins illégales

1. Trois étapes principales de la diffusion stable:
   1. Clip: peluche
   2. (seul img2img) coder l'image init à init latent
   3. Échantillonnage itératif avec échantillonneur
   4. décoder les résultats de l'échantillonneur pour obtenir des images de sortie
2. Détails du modèle:
   1. Poids: Naifu (vous savez où trouver)
   2. Sampleur: Euler ancestral (version K-Diffusion)
   3. Résolution: forme dynamique, mais doit être un multiple de 128, le minimum est 256
   4. Denoisier: CFGDENIVER, compvisdenoïser
   5. Invite: positif et négatif, tous deux pris en charge :)

Détails du code

Complie pour X86 Windows

1. Téléchargez 4 bac Fichier: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin et placez-les à assets Folder
2. Ouvrez le projet VS2019 et compilez la version et x64

Complie pour x86 Linux / macOS

1. construire et installer ncnn
2. Construisez la démo avec Cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Téléchargez 3 dossiers de bac: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin et mettez-les dans le dossier build/assets
4. courir la démo

./stable-diffusion-ncnn

Compiler pour Android

1. Téléchargez trois bacs: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin et mettez-les dans le dossier assets
2. Ouvrez Android Studio et exécutez le projet

Modèle ONNX

J'ai téléchargé les trois modèles ONNX utilisés par stable-diffusion, afin que vous puissiez faire un travail intéressant.

Vous pouvez les trouver à partir du lien ci-dessus.

Affirmations

1. Veuillez respecter consciemment l'accord du modèle de diffusion stable et ne pas l'utiliser à des fins illégales!
2. Si vous utilisez ces modèles ONNX pour faire des projets open source, veuillez m'informer et je suivrai et j'attends avec impatience votre prochain excellent travail :)

Instructions

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. Non-anéanti

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Références

1. ncnn
2. opencv-mobile
3. diffusion stable
4. K-Diffusion
5. stable-diffusion-webui
6. diffuseurs
7. diffuseurs-ncnn