Stable Diffusion NCNN

Stabile Diffusion-NCNN

Stabile Diffusion implementiert von NCNN Framework basierend auf C ++, unterstützt TXT2IMG und IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

Video: https://www.bilibili.com/video/bv15g411x7hc

TXT2IMG-Leistung (Zeit vor und RAM)

pro-it	i7-12700 (512x512)	I7-12700 (256x256)	Snapdragon865 (256x256)
langsam	4,85s/5,24 g (7,07 g)	1,05S/3,58 g (4,02 g)	1,6s/2,2 g (2,6 g)
schnell	2,85S/9,47G (11,29G)	0,65s/5,76 g (6,20 g)

Nachricht

2023-03-11: Ich freue mich, IMG2IMG Android hinzuzufügen und neue APK zu veröffentlichen

2023-03-10: Ich freue mich, IMG2IMG x86 hinzuzufügen

2023-01-19: Beschleunigen und weniger RAM in x86, dynamische Form in x86

2023-01-12: Aktualisieren Sie den neuesten NCNN-Code und verwenden Sie das Modell optimieren, Android aktualisieren, Speichermonitor hinzufügen

2023-01-05: Fügen Sie 256x256 Modell zum X86-Projekt hinzu

2023-01-04: Fucken Sie das MHA-OP in x86 zusammen und beenden Sie das schnelle Gelu

Demo

Aus der Kiste

Alle Modelle und EXE -Dateien, die Sie von 百度网盘 oder Google Drive oder Release herunterladen können

Wenn Sie nur ein NCNN-Modell benötigen, können Sie es aus 硬件模型库-设备专用模型 durchsuchen, es wäre schneller und freier.

x86 Fenster

1. Geben Sie den Ordner exe ein
2. Download 4 Bin-Datei: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin und setzen sie in den Ordner assets ein
3. Richten Sie Ihre Konfiguration in magic.txt ein. Jede Zeile sind:
   1. Höhe (Muss ein Vielfaches von 128 sein, ist das Minimum 256)
   2. Breite (muss ein Vielfaches von 128 sein, das Minimum beträgt 256)
   3. Geschwindigkeitsmodus (0 ist langsam, aber niedriger RAM, 1 ist schnell, aber hoher RAM)
   4. Schrittnummer (15 ist nicht schlecht)
   5. Saatnummer (setzt 0, um zufällig zu sein)
   6. Init -Bild (Wenn die Datei vorhanden ist, führen Sie IMG2IMG aus, wenn nicht, txt2Img ausführen)
   7. Positive Eingabeaufforderung (Beschreiben Sie, was Sie wollen)
   8. Negative Aufforderung (Beschreiben Sie, was Sie nicht wollen)
4. Rennen Sie stable-diffusion.exe

Android apk

1. Laden Sie eine APK vom Link herunter
2. Oben ist der erste Schritt und der zweite ist Samen
3. Int die Unterseite, die obere der positiven Eingabeaufforderung und die untere negative Eingabeaufforderung (leer, um die Standardaufforderung zu aktivieren)
4. HINWEIS: Der APK benötigt 7G RAM und läuft sehr langsam und Stromverbrauch

Implementierungsdetails

Hinweis: Bitte entsprechen den Anforderungen des SD -Modells und verwenden Sie es nicht für illegale Zwecke

1. Drei Hauptschritte der Stalldiffusion:
   1. Clip: Text-Embedding
   2. (Nur IMG2IMG) codieren das Init -Bild in Init Latent
   3. iterative Probenahme mit Sampler
   4. Entschlüsseln Sie die Sampler -Ergebnisse, um Ausgangsbilder zu erhalten
2. Modelldetails:
   1. Gewichte: Naifu (du weißt, wo man findet)
   2. Sampler: Euler Ancestral (K-Diffusion-Version)
   3. Auflösung: Dynamische Form, aber muss ein Vielfaches von 128 sein, Minimum beträgt 256
   4. Denoiser: Cfgdenoiser, Compvisdenoiser
   5. Eingabeaufforderung: positiv und negativ, beide unterstützt :)

Codedetails

Kombinieren Sie X86 Windows

1. Download 4 Bin-Datei: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin und setzen sie in den Ordner assets ein
2. Öffnen Sie das VS2019 -Projekt und erstellen Sie die Version & x64

Complie für x86 Linux / macOS

1. NCNN erstellen und installieren
2. Bauen Sie die Demo mit CMake auf

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Download 3 Bin-Datei: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin und build/assets
4. Führen Sie die Demo durch

./stable-diffusion-ncnn

Kompilieren Sie für Android

1. Download Drei Bin-Datei: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin und setzen Sie sie in den Ordner assets ein
2. Öffnen Sie Android Studio und führen Sie das Projekt aus

Onnx -Modell

Ich habe die drei ONNX-Modelle hochgeladen, die von Stable-Diffusion verwendet werden, damit Sie einige interessante Arbeiten leisten können.

Sie können sie aus dem obigen Link finden.

Aussagen

1. Bitte halten Sie die Vereinbarung des stabilen Diffusionsmodells bewusst ein und verwenden Sie es nicht für illegale Zwecke!
2. Wenn Sie diese OnNX -Modelle verwenden, um Open -Source -Projekte durchzuführen, informieren Sie mich bitte und ich werde auf Ihre nächste großartige Arbeit folgen :)

Anweisungen

1. Frezenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. Unetmodel

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Referenzen

1. ncnn
2. opencv-mobile
3. Stalldiffusion
4. K-Diffusion
5. Stable-Diffusion-Webui
6. Diffusoren
7. Diffusoren-ncnn