Stable Diffusion NCNN

安定した拡散-NCNN

C ++、サポートされたTXT2IMG、IMG2IMGに基づいてNCNNフレームワークによって実装された安定した拡散！

Zhihu：https：//zhuanlan.zhihu.com/p/58252276

ビデオ：https：//www.bilibili.com/video/bv15g411x7hc

txt2imgパフォーマンス（It-itとramの時間）

per-it	I7-12700（512x512）	I7-12700（256x256）	snapdragon865（256x256）
遅い	4.85S/5.24G（7.07g）	1.05s/3.58g（4.02g）	1.6S/2.2g（2.6g）
速い	2.85S/9.47G（11.29g）	0.65s/5.76g（6.20g）

ニュース

2023-03-11：IMG2IMG Androidを追加して新しいAPKをリリースしてうれしい

2023-03-10：IMG2IMG X86を追加してうれしいです

2023-01-19：x86でスピードアップしてラムを減らし、x86で動的な形状

2023-01-12：最新のNCNNコードに更新して最適化モデルを使用し、Androidを更新し、メモリモニターの追加

2023-01-05：256x256モデルをx86プロジェクトに追加します

2023-01-04：X86でMHA OPをマージして終了し、高速GELUを有効にします

デモ

箱から出しています

すべてのモデルとexeファイル百度网盘またはGoogleドライブまたはリリースからダウンロードできます

ncnnモデルのみが必要な場合は、硬件模型库-设备专用模型から検索できます。より速くて無料になります。

x86ウィンドウ

1. フォルダーexeを入力します
2. 4 binファイルをダウンロード： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.binて、 assetsフォルダーに配置します
3. magic.txtで構成を設定すると、各行は次のとおりです。
   1. 高さ（128の倍数でなければ、最小は256です）
   2. 幅（128の倍数である必要があり、最小値は256です）
   3. 速度モード（0は遅いが低いRAM、1は高速ですが高いRAM）
   4. ステップ番号（15は悪くありません）
   5. シード番号（ランダムに0を設定）
   6. initイメージ（ファイルが存在する場合、IMG2IMGを実行しない場合は、txt2imgを実行します）
   7. ポジティブプロンプト（あなたが望むものを説明する）
   8. ネガティブプロンプト（あなたが望んでいないものを説明する）
4. stable-diffusion.exeを実行します

Android APK

1. リンクからAPKをインストールすることをダウンロードします
2. 上部では、最初のものはステップで、2番目はシードです
3. int bottom、上部のポジティブプロンプト、および下部の1つのネガティブプロンプト（デフォルトプロンプトを有効にするために空に設定）
4. 注：APKには7G RAMが必要で、非常に遅く電力消費

実装の詳細

注：SDモデルの要件を遵守してください。違法な目的で使用しないでください

1. 安定した拡散の3つの主要なステップ：
   1. クリップ：テキスト埋め込み
   2. （IMG2Imgのみ）initイメージを繰り返しにエンコードします
   3. サンプラーを使用した反復サンプリング
   4. サンプラーの結果をデコードして、出力画像を取得します
2. モデルの詳細：
   1. ウェイト：naifu（uを知っている場所を知っています）
   2. サンプラー：Euler Ancestral（K-Diffusionバージョン）
   3. 解像度：動的形状ですが、128の倍数でなければなりません、最小は256です
   4. Denoiser：Cfgdenoiser、Compvisdenoiser
   5. プロンプト：ポジティブとネガティブ、両方ともサポートされています:)

コードの詳細

X86 Windowsのコンプリエ

1. 4 binファイルをダウンロード： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.binて、 assetsフォルダーに配置します
2. VS2019プロジェクトを開き、リリースとX64をコンパイルします

x86 linux / macosのComprie

1. NCNNを構築およびインストールします
2. cmakeでデモを作成します

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. 3 binファイルをダウンロード： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin 、およびそれらをbuild/assetsフォルダーに配置します
4. デモを実行します

./stable-diffusion-ncnn

Androidをコンパイルします

1. 3つのビンファイルをダウンロード： AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin 、およびそれらをassetsフォルダーに配置します
2. Android Studioを開き、プロジェクトを実行します

ONNXモデル

Stable拡散で使用される3つのONNXモデルをアップロードしました。これにより、興味深い作業を行うことができます。

上記のリンクからそれらを見つけることができます。

ステートメント

1. 安定した拡散モデルの合意を意識的に順守してください。違法な目的で使用しないでください！
2. これらのONNXモデルを使用してオープンソースプロジェクトを作成する場合は、私に知らせてください。次の素晴らしい仕事をフォローして楽しみにしています:)

説明書

1. frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. UnetModel

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

参照

1. ncnn
2. opencv-mobile
3. 安定した拡散
4. K拡散
5. stable diffusion-webui
6. ディフューザー
7. diffusers-ncnn