Stable Diffusion NCNN

Стабильная диффузия-NCNN

Стабильная диффузия, реализованная NCNN Framework на основе C ++, поддерживается TXT2IMG и IMG2IMG!

Zhihu: https://zhuanlan.zhihu.com/p/582552276

Видео: https://www.bilibili.com/video/bv15g411x7hc

производительность txt2img (время до-его и оперативная память)

за это	i7-12700 (512x512)	i7-12700 (256x256)	Snapdragon865 (256x256)
медленный	4,85 с/5,24 г (7,07 г)	1,05 с/3,58 г (4,02 г)	1,6 с/2,2 г (2,6 г)
быстрый	2,85 с/9,47 г (11,29 г)	0,65 с/5,76 г (6,20 г)

Новости

2023-03-11: счастлив добавить Img2img Android и выпустить новый APK

2023-03-10: счастлив добавить img2img x86

2023-01-19: скорость и меньше оперативной памяти в x86, динамическая форма в x86

2023-01-12: обновление до последнего кода NCNN и используйте модель оптимизации, обновление Android, добавить монитор памяти

2023-01-05: добавить модель 256x256 в проект x86

2023-01-04: слияние и завершить MHA OP в x86, включить Fast Gelu

Демо

Вне коробки

Все модели и exe -файл, которые вы можете скачать с 百度网盘 или Google Drive или выпуска

Если вам нужна только модель NCNN, вы можете искать ее из 硬件模型库-设备专用模型, это было бы более быстрее и бесплатно.

x86 Windows

1. Введите папку Exe
2. Скачать 4 Bin File: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin и поместите их в assets Folder
3. Настройте конфигурацию в magic.txt , каждая строка:
   1. Высота (должна быть кратна 128, минимум - 256)
   2. Ширина (должна быть кратная 128, минимум - 256)
   3. Режим скорости (0 - медленный, но низкий балл, 1 - это быстрый, но высокий ОЗУ)
   4. Номер шага (15 неплохо)
   5. номер семян (установите 0, чтобы быть случайным)
   6. ИЗОБРАЖЕНИЕ (если файл существует, запустите img2img, если нет, запустите txt2img)
   7. Положительная подсказка (опишите, что вы хотите)
   8. негативная подсказка (опишите, чего вы не хотите)
4. Запустить stable-diffusion.exe

Android APK

1. Загрузите установку APK по ссылке
2. Вверху первым является шаг, а второй - Seed
3. int внизу, верхняя положительная подсказка и нижняя одна отрицательная подсказка (установите пустую, чтобы включить подсказку по умолчанию)
4. Примечание: APK нуждается в 7G RAM, и работать очень медленно и энергопотребление

Детали реализации

Примечание. Пожалуйста, соблюдайте требования модели SD и не используйте ее для незаконных целей

1. Три основных этапа стабильной диффузии:
   1. Клип: Текстовое ввержение
   2. (только img2img) кодировать изображение init, чтобы закончить
   3. итеративная выборка с образцом
   4. Декодировать результаты пробоотборника для получения выходных изображений
2. Детали модели ：
   1. Вес ： Нафу (ты знаешь, где найти)
   2. Сэмплер: Euler Encesral (версия K-Diffusion)
   3. Разрешение: динамическая форма, но должна быть кратна 128, минимум - 256
   4. Denoiser ： Cfgdenoiser, Compvisdenoiser
   5. Приглашение ： положительное и отрицательное, оба поддерживаются :)

Сведения о коде

Комплекс для x86 Windows

1. Скачать 4 Bin File: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin, AutoencoderKL-encoder-512-512-fp16.bin и поместите их в assets Folder
2. Откройте проект VS2019 и составьте релиз и X64

Комплект для x86 Linux / macOS

1. Создайте и установите NCNN
2. Построить демонстрацию с помощью Cmake

 cd x86/linux
mkdir -p build && cd build
cmake ..
make -j $( nproc )

3. Загрузите 3 BIN File: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin и поместите их в папку build/assets
4. запустить демонстрацию

./stable-diffusion-ncnn

Скомпилируйте для Android

1. Загрузите три корзины: AutoencoderKL-fp16.bin, FrozenCLIPEmbedder-fp16.bin, UNetModel-MHA-fp16.bin и поместите их в папку assets
2. Откройте Android Studio и запустите проект

Модель ONNX

Я загрузил три модели ONNX, используемые стабильной диффузией, чтобы вы могли сделать некоторую интересную работу.

Вы можете найти их по ссылке выше.

Заявления

1. Пожалуйста, соблюдайте соглашение о стабильной диффузионной модели сознательно и не используйте ее для незаконных целей!
2. Если вы используете эти модели ONNX для создания проектов с открытым исходным кодом, пожалуйста, сообщите мне, и я с нетерпением жду вашей следующей отличной работы :)

Инструкции

1. Frozenclipembedder

 ncnn (input & output): token, multiplier, cond, conds
onnx (input & output): onnx::Reshape_0, 2271

z = onnx(onnx::Reshape_0=token)
origin_mean = z.mean()
z *= multiplier
new_mean = z.mean()
z *= origin_mean / new_mean
conds = torch.concat([cond,z], dim=- 2 )

2. Unetmodel

 ncnn (input & output): in0, in1, in2, c_in, c_out, outout
onnx (input & output): x, t, cc, out

outout = in0 + onnx(x=in0 * c_in, t=in1, cc=in2) * c_out

Ссылки

1. ncnn
2. OpenCV-Mobile
3. стабильная диффузия
4. К-диффузия
5. Стабильная диффузия-вабуи
6. диффузоры
7. Диффузеры-NCNN