waifu2x ncnn vulkan

waifu2x ncnn vulkan

Implementación de NCNN del convertidor Waifu2x. Funciona rápido en Intel / AMD / NVIDIA / Apple-Silicon con API Vulkan.

waifu2x-ncnn-vulkan utiliza el proyecto NCNN como el marco de inferencia de redes neuronales universales.

Descargar

Descargue el ejecutable de Windows/Linux/MacOS para Intel/AMD/NVIDIA GPU

https://github.com/nihui/waifu2x-ncnn-vulkan/releases

Este paquete incluye todos los binarios y modelos requeridos. Es portátil, por lo que no se necesita un entorno de tiempo de ejecución de Cuda o Caffe :)

Usos

Comando de ejemplo

waifu2x-ncnn-vulkan.exe -i input.jpg -o output.png -n 2 -s 2

Usos completos

 Usage: waifu2x-ncnn-vulkan -i infile -o outfile [options]...

  -h                   show this help
  -v                   verbose output
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -n noise-level       denoise level (-1/0/1/2/3, default=0)
  -s scale             upscale ratio (1/2/4/8/16/32, default=2)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        waifu2x model path (default=models-cunet)
  -g gpu-id            gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            output image format (jpg/png/webp, default=ext/png)

• input-path y output-path aceptan ruta de archivo o ruta de directorio
• noise-level = nivel de ruido, valor grande significa un fuerte efecto de denoise, -1 = sin efecto
• scale = nivel de escala, 1 = sin escala, 2 = exclusivo 2x
• tile-size = tamaño de mosaico, use un valor más pequeño para reducir el uso de la memoria de la GPU, el valor predeterminado se selecciona automáticamente
• load:proc:save = Recuento de subprocesos para las tres etapas (decodificación de imagen + WAIFU2X Upcaling + imagen de imagen), el uso de valores más grandes puede aumentar el uso de GPU y consumir más memoria de GPU. Puede ajustar esta configuración con "4: 4: 4" para muchas imágenes de tamaño pequeño, y "2: 2: 2" para imágenes de gran tamaño. La configuración predeterminada generalmente funciona bien para la mayoría de las situaciones. Si encuentra que su GPU tiene hambre, intente aumentar el recuento de subprocesos para lograr un procesamiento más rápido.
• format = El formato de la imagen a salir, PNG es mejor compatible, sin embargo, WebP generalmente produce tamaños de archivo más pequeños, ambos están codificados sin pérdida

Si encuentra un bloqueo o un error, intente actualizar su controlador de GPU:

• Intel: https://downloadcenter.intel.com/product/80939/graphics-drivers
• AMD: https://www.amd.com/en/support
• Nvidia: https://www.nvidia.com/download/index.aspx

Construir desde la fuente

1. Descargue y configure el Vulkan SDK de https://vulkan.lunarg.com/

• Para las distribuciones de Linux, puede obtener los requisitos de compilación esenciales de Package Manager

dnf install vulkan-headers vulkan-loader-devel

apt-get install libvulkan-dev

pacman -S vulkan-headers vulkan-icd-loader

2. Clonar este proyecto con todos los submódulos

git clone https://github.com/nihui/waifu2x-ncnn-vulkan.git
cd waifu2x-ncnn-vulkan
git submodule update --init --recursive

3. Construir con cmake

• Puede pasar -duse_static_moltenvk = en opción para evitar vincular la biblioteca del cargador vulkan en macOS

mkdir build
cd build
cmake ../src
cmake --build . -j 4

Comparación de velocidad con waifu2x-caffe-cui

Ambiente

• Windows 10 1809
• AMD R7-1700
• Nvidia GTX-1070
• Conductor NVIDIA 419.67
• CUDA 10.1.105
• Cudnn 10.1

 Measure-Command { waifu2x-ncnn-vulkan.exe - i input.png - o output.png - n 2 - s 2 - t [ block size ] - m [ model dir ] }

 Measure-Command { waifu2x-caffe-cui.exe - t 0 -- gpu 0 - b 1 - c [ block size ] - p cudnn -- model_dir [ model dir ] - s 2 - n 2 - m noise_scale - i input.png - o output.png }

cunet

	Tamaño de imagen	Tamaño objetivo	Tamaño de bloque	Tiempo total (s)	Memoria de GPU (MB)
waifu2x-ncnn-vulkan	200x200	400x400	400/200/100	0.86/0.86/0.82	638/638/197
waifu2x-caffe-cui	200x200	400x400	400/200/100	2.54/2.39/2.36	3017/936/843
waifu2x-ncnn-vulkan	400x400	800x800	400/200/100	1.17/1.04/1.02	2430/638/197
waifu2x-caffe-cui	400x400	800x800	400/200/100	2.91/2.43/2.7	3202/1389/1178
waifu2x-ncnn-vulkan	1000x1000	2000x2000	400/200/100	2.35/2.26/2.46	2430/638/197
waifu2x-caffe-cui	1000x1000	2000x2000	400/200/100	4.04/3.79/4.35	3258/1582/1175
waifu2x-ncnn-vulkan	2000x2000	4000x4000	400/200/100	6.46/6.59/7.49	2430/686/213
waifu2x-caffe-cui	2000x2000	4000x4000	400/200/100	7.01/7.54/10.11	3258/1499/1200
waifu2x-ncnn-vulkan	4000x4000	8000x8000	400/200/100	22.78/23.78/27.61	2448/654/213
waifu2x-caffe-cui	4000x4000	8000x8000	400/200/100	18.45/21.85/31.82	3325/1652/1236

upconv_7_anime_style_art_rgb

	Tamaño de imagen	Tamaño objetivo	Tamaño de bloque	Tiempo total (s)	Memoria de GPU (MB)
waifu2x-ncnn-vulkan	200x200	400x400	400/200/100	0.74/0.75/0.72	482/482/142
waifu2x-caffe-cui	200x200	400x400	400/200/100	2.04/1.99/1.99	995/546/459
waifu2x-ncnn-vulkan	400x400	800x800	400/200/100	0.95/0.83/0.81	1762/482/142
waifu2x-caffe-cui	400x400	800x800	400/200/100	2.08/2.12/2.11	995/546/459
waifu2x-ncnn-vulkan	1000x1000	2000x2000	400/200/100	1.52/1.41/1.44	1778/482/142
waifu2x-caffe-cui	1000x1000	2000x2000	400/200/100	2.72/2.60/2.68	1015/570/459
waifu2x-ncnn-vulkan	2000x2000	4000x4000	400/200/100	3.45/3.42/3.63	1778/482/142
waifu2x-caffe-cui	2000x2000	4000x4000	400/200/100	3.90/4.01/4.35	1015/521/462
waifu2x-ncnn-vulkan	4000x4000	8000x8000	400/200/100	11.16/11.29/12.07	1796/498/158
waifu2x-caffe-cui	4000x4000	8000x8000	400/200/100	9.24/9.81/11.16	995/546/436

Imágenes de muestra

Imagen original

2x exclusivo con ImageMagick

convert origin.jpg -resize 200% output.png

2x exclusivo con el filtro de ImageMagick Lanczo4

convert origin.jpg -filter Lanczos -resize 200% output.png

2x de lujo con ruido waifu2x = 2 escala = 2

waifu2x-ncnn-vulkan.exe -i origin.jpg -o output.png -n 2 -s 2

Proyecto Waifu2x original

• https://github.com/nagadomi/waifu2x
• https://github.com/lltcggie/waifu2x-caffe

Otro código de código abierto utilizado

• https://github.com/tencent/ncnn para inferencia rápida de redes neuronales en todas las plataformas
• https://github.com/webmproject/libwebp para codificar y decodificar imágenes WebP en todas las plataformas
• https://github.com/nothings/stb para decodificar y codificar imagen en Linux/MacOS
• https://github.com/tronkko/dirent para enumerar archivos en el directorio en Windows