Stable Diffusion NCNN

안정적인 확산 -NCNN

C ++를 기반으로 NCNN 프레임 워크에 의해 구현 된 안정적인 확산, 지원 된 TXT2IMG 및 IMG2IMG!

Zhihu : https://zhuanlan.zhihu.com/p/582552276

비디오 : https://www.bilibili.com/video/bv15g411x7hc

TXT2IMG 성능 (Time Pre-It 및 RAM)

Per-It	i7-12700 (512x512)	i7-12700 (256x256)	Snapdragon865 (256x256)
느린	4.85S/5.24G (7.07G)	1.05S/3.58G (4.02g)	1.6S/2.2G (2.6G)
빠른	2.85S/9.47G (11.29G)	0.65S/5.76G (6.20G)

소식

2023-03-11 : IMG2IMG Android를 추가하고 새로운 APK를 출시하는 것이 기쁩니다.

2023-03-10 : IMG2IMG X86을 추가하게되어 기쁩니다

2023-01-19 : x86의 속도 업 및 적은 램, x86의 동적 모양

2023-01-12 : 최신 NCNN 코드 업데이트 및 최적화 모델, Android 업데이트, 메모리 모니터 추가

2023-01-05 : x86 프로젝트에 256x256 모델을 추가하십시오

2023-01-04 : x86에서 MHA OP를 병합하고 마무리하고 빠른 Gelu 활성화

데모

상자 밖

百度网盘 또는 Google 드라이브 또는 릴리스에서 다운로드 할 수있는 모든 모델 및 exe 파일

NCNN 모델 만 필요하면 硬件模型库- 设备专用模型에서 검색 할 수 있습니다. 더 빠르고 무료입니다.

x86 창

1. 폴더 exe를 입력하십시오
2. 4 bin 파일 다운로드 : AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
3. magic.txt 에서 구성을 설정하면 각 줄은 다음과 같습니다.
   1. 높이 (128의 배수, 최소값은 256이어야합니다)
   2. 너비 (128의 배수, 최소값은 256입니다)
   3. 속도 모드 (0은 느리지 만 RAM이 낮고 1은 빠르지 만 RAM이 높음)
   4. 단계 번호 (15는 나쁘지 않음)
   5. 종자 번호 (0이 무작위로 세트)
   6. init image (파일이 존재하는 경우 img2img를 실행하십시오. 그렇지 않은 경우 txt2img를 실행하십시오)
   7. 긍정적 인 프롬프트 (원하는 것을 설명)
   8. 부정적인 프롬프트 (원하지 않는 것을 설명)
4. stable-diffusion.exe 실행하십시오

안드로이드 APK

1. 링크에서 APK 설치를 다운로드하십시오
2. 맨 위에서 첫 번째는 단계이고 두 번째는 씨앗입니다.
3. int 하단, 상단 1은 긍정적 인 프롬프트 및 하단 1 개의 음수 프롬프트 (기본 프롬프트를 활성화하기 위해 비어 있음)
4. 참고 : APK는 7G RAM이 필요하며 매우 느리고 전력 소비를 실행합니다.

구현 세부 사항

참고 : SD 모델의 요구 사항을 준수하고 불법 목적으로 사용하지 마십시오.

1. 안정된 확산의 세 가지 주요 단계 ：
   1. 클립 : 텍스트 엠 베딩
   2. (IMG2IMG 만) init 이미지를 인코딩하여 ENIT 잠재
   3. 샘플러를 사용한 반복 샘플링
   4. 샘플러 결과를 디코딩하여 출력 이미지를 얻습니다
2. 모델 세부 사항 ：
   1. 웨이트 ： Naifu (어디서 찾을 수 있는지 알고 있습니다)
   2. 샘플러 ： Euler Ancestral (k-diffusion 버전)
   3. 해상도 ： 동적 모양이지만 128의 배수이어야하며 최소값은 256입니다.
   4. DENOISER ： CFGDENOISER, COMPVISDENOISER
   5. 프롬프트 ： 양성 및 부정, 모두 지원 :)

코드 세부 사항

X86 Windows에 대한 불만

1. 4 bin 파일 다운로드 : AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin assets
2. VS2019 프로젝트를 열고 릴리스 & x64를 컴파일하십시오

X86 Linux / MacOS에 대한 불만

1. NCNN을 빌드하고 설치하십시오
2. cmake로 데모를 구축하십시오

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. 3 bin 파일 다운로드 : AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin 을 build/assets 폴더에 넣습니다.
4. 데모를 실행하십시오

./stable-diffusion-ncnn

안드로이드를 위해 편집하십시오

1. 3 개의 빈 파일 다운로드 : AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin 을 assets 폴더에 넣으십시오.
2. 안드로이드 스튜디오를 열고 프로젝트를 실행하십시오

ONNX 모델

안정적인 확산으로 사용되는 세 가지 ONNX 모델을 업로드하여 흥미로운 작업을 수행 할 수 있습니다.

위의 링크에서 찾을 수 있습니다.

진술

1. 안정적인 확산 모델의 계약을 의식적으로 준수하고 불법적 인 목적으로 사용하지 마십시오!
2. 이 Onnx 모델을 사용하여 오픈 소스 프로젝트를 만드는 경우 저에게 알려 주시면 다음 위대한 작업을 기대하고 다음을 기대하겠습니다. :)

지침

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. 모드 델

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

참조

1. NCNN
2. Opencv-Mobile
3. 안정적인 확산
4. K- 확산
5. 안정된 확산-부비
6. 디퓨저
7. Diffusers-ncnn