Stable Diffusion NCNN

Difusi yang stabil-NCNN

Difusi stabil yang diimplementasikan oleh NCNN Framework berdasarkan C ++, yang didukung TXT2IMG dan IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

Video: https://www.bilibili.com/video/bv15g411x7hc

Kinerja TXT2IMG (Waktu Pra-IT dan RAM)

per-it	i7-12700 (512x512)	I7-12700 (256x256)	Snapdragon865 (256x256)
lambat	4.85S/5.24G (7.07G)	1.05s/3.58g (4.02g)	1.6s/2.2g (2.6g)
cepat	2.85S/9.47G (11.29g)	0.65S/5.76g (6.20g)

Berita

2023-03-11: Senang menambahkan IMG2IMG Android dan rilis APK baru

2023-03-10: Senang menambahkan IMG2IMG x86

2023-01-19: cepat & lebih sedikit ram dalam x86, bentuk dinamis di x86

2023-01-12: Perbarui ke kode NCNN terbaru dan gunakan Model Optimize, Perbarui Android, Tambahkan Monitor Memori

2023-01-05: Tambahkan model 256x256 ke proyek x86

2023-01-04: Gabungkan dan selesaikan MHA OP di x86, aktifkan Gelu cepat

Demo

Di luar kotak

Semua model dan file exe yang dapat Anda unduh dari 百度网盘 atau Google Drive atau rilis

Jika Anda hanya membutuhkan model NCNN, Anda dapat mencarinya dari 硬件模型库-设备专用模型, itu akan lebih cepat dan gratis.

X86 Windows

1. Masukkan folder exe
2. Unduh 4 File Bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin dan letakkan di assets
3. Siapkan konfigurasi Anda di magic.txt , setiap baris adalah:
   1. Tinggi (harus kelipatan 128, minimum adalah 256)
   2. lebar (harus kelipatan 128, minimum adalah 256)
   3. Mode Kecepatan (0 lambat tapi rendah RAM, 1 cepat tetapi RAM tinggi)
   4. Nomor Langkah (15 tidak buruk)
   5. nomor benih (set 0 menjadi acak)
   6. gambar init (jika ada file, jalankan img2img, jika tidak, jalankan txt2img)
   7. prompt positif (jelaskan apa yang Anda inginkan)
   8. Prompt negatif (jelaskan apa yang tidak Anda inginkan)
4. Jalankan stable-diffusion.exe

Apk Android

1. Unduh instal apk dari tautan
2. Di atas, yang pertama adalah langkah dan yang kedua adalah biji
3. int bagian bawah, bagian atas prompt positif dan prompt negatif bawah (set kosong untuk mengaktifkan prompt default)
4. Catatan: APK membutuhkan 7G RAM, dan menjalankan konsumsi sangat lambat dan daya

Detail Implementasi

Catatan: Harap patuhi persyaratan model SD dan jangan gunakan untuk tujuan ilegal

1. Tiga langkah utama difusi stabil:
   1. Klip: Embedding Teks
   2. (hanya img2img) menyandikan gambar init ke init laten
   3. pengambilan sampel iteratif dengan sampler
   4. mendekode hasil sampler untuk mendapatkan gambar output
2. Detail Model ：
   1. Bobot ： Naifu (Anda tahu di mana menemukannya)
   2. Sampler ： Euler Ancestral (V-Diffusion Version)
   3. Resolusi: bentuk dinamis, tetapi harus kelipatan 128, minimum 256
   4. Denoiser ： Cfgdenoiser, Compvisdenoiser
   5. Prompt ： Positif & negatif, keduanya didukung :)

Detail Kode

Compie untuk X86 Windows

1. Unduh 4 File Bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin dan letakkan di assets
2. Buka proyek VS2019 dan kompilasi rilis & x64

Compie untuk x86 Linux / MacOS

1. Bangun dan instal NCNN
2. Bangun demo dengan cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Unduh 3 File Bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin dan letakkan mereka untuk build/assets
4. Jalankan demo

./stable-diffusion-ncnn

Kompilasi untuk Android

1. Unduh tiga file bin: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin dan letakkan di folder assets
2. Buka Android Studio dan jalankan proyek

Model ONNX

Saya telah mengunggah tiga model ONNX yang digunakan oleh difusi stabil, sehingga Anda dapat melakukan beberapa pekerjaan yang menarik.

Anda dapat menemukannya dari tautan di atas.

Pernyataan

1. Harap patuhi dengan kesepakatan model difusi stabil secara sadar, dan jangan menggunakannya untuk tujuan ilegal!
2. Jika Anda menggunakan model ONNX ini untuk membuat proyek open source, tolong beri tahu saya dan saya akan mengikuti dan menantikan pekerjaan hebat Anda berikutnya :)

Instruksi

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. Unetmodel

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Referensi

1. ncnn
2. OpenCV-Mobile
3. difusi stabil
4. k-difusi
5. stabil-difusi-webui
6. Diffuser
7. Diffusers-NCNN