waifu2x ncnn vulkan

waifu2x ncnn vulkan

Implémentation NCNN du convertisseur WAIFU2X. Fonctionne rapidement sur Intel / AMD / Nvidia / Apple-Silicion avec API Vulkan.

WAIFU2X-NCNN-Vulkan utilise le projet NCNN comme cadre d'inférence du réseau neuronal universel.

Télécharger

Téléchargez l'exécutable Windows / Linux / MacOS pour GPU Intel / AMD / NVIDIA

https://github.com/nihui/waifu2x-ncnn-vulkan/releases

Ce package comprend tous les binaires et modèles requis. Il est portable, donc aucun environnement d'exécution Cuda ou Caffe n'est nécessaire :)

Usages

Exemple de commande

waifu2x-ncnn-vulkan.exe -i input.jpg -o output.png -n 2 -s 2

Usages complets

 Usage: waifu2x-ncnn-vulkan -i infile -o outfile [options]...

  -h                   show this help
  -v                   verbose output
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -n noise-level       denoise level (-1/0/1/2/3, default=0)
  -s scale             upscale ratio (1/2/4/8/16/32, default=2)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        waifu2x model path (default=models-cunet)
  -g gpu-id            gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            output image format (jpg/png/webp, default=ext/png)

• input-path et output-path acceptent le chemin du fichier ou le chemin du répertoire
• noise-level = niveau de bruit, une grande valeur signifie un fort effet de débrouille, -1 = aucun effet
• scale = niveau d'échelle, 1 = pas de mise à l'échelle, 2 = haut de gamme 2x
• tile-size = taille des carreaux, utilisez une valeur plus petite pour réduire l'utilisation de la mémoire du GPU, par défaut sélectionne automatiquement
• load:proc:save = comptage de threads pour les trois étapes (décodage d'image + WAIFU2X UpScaling + Encodage d'image), l'utilisation de valeurs plus grandes peut augmenter l'utilisation du GPU et consommer plus de mémoire GPU. Vous pouvez régler cette configuration avec "4: 4: 4" pour de nombreuses images de petite taille, et "2: 2: 2" pour les images de grande taille. Le paramètre par défaut fonctionne généralement bien pour la plupart des situations. Si vous constatez que votre GPU a faim, essayez d'augmenter le nombre de fils pour atteindre un traitement plus rapide.
• format = Le format de l'image à sortir, PNG est mieux pris en charge, mais WebP fournit généralement des tailles de fichiers plus petites, les deux sont codés sans perte

Si vous rencontrez un crash ou une erreur, essayez de mettre à niveau votre pilote GPU:

• Intel: https://downloadcenter.intel.com/product/80939/graphics-drivers
• AMD: https://www.amd.com/en/support
• Nvidia: https://www.nvidia.com/download/index.aspx

Construire à partir de la source

1. Téléchargez et configurez le SDK Vulkan à partir de https://vulkan.lunarg.com/

• Pour les distributions Linux, vous pouvez soit obtenir les exigences de construction essentielles du gestionnaire de packages

dnf install vulkan-headers vulkan-loader-devel

apt-get install libvulkan-dev

pacman -S vulkan-headers vulkan-icd-loader

2. Clone ce projet avec tous les sous-modules

git clone https://github.com/nihui/waifu2x-ncnn-vulkan.git
cd waifu2x-ncnn-vulkan
git submodule update --init --recursive

3. Construire avec cmake

• Vous pouvez passer -DUSE_STATIC_MOLTENVK = OPTION ON OPTION pour éviter de lier la bibliothèque de chargeur Vulkan sur macOS

mkdir build
cd build
cmake ../src
cmake --build . -j 4

Comparaison de vitesse avec waifu2x-caffe-cui

Environnement

• Windows 10 1809
• AMD R7-1700
• Nvidia gtx-1070
• Nvidia Driver 419.67
• CUDA 10.1.105
• cudnn 10.1

 Measure-Command { waifu2x-ncnn-vulkan.exe - i input.png - o output.png - n 2 - s 2 - t [ block size ] - m [ model dir ] }

 Measure-Command { waifu2x-caffe-cui.exe - t 0 -- gpu 0 - b 1 - c [ block size ] - p cudnn -- model_dir [ model dir ] - s 2 - n 2 - m noise_scale - i input.png - o output.png }

coutume

	Taille de l'image	Taille cible	Taille de blocage	Temps total (s)	Mémoire de GPU (MB)
waifu2x-ncnn-vulkan	200x200	400x400	400/200/100	0,86 / 0,86 / 0,82	638/638/197
waifu2x-caffe-cui	200x200	400x400	400/200/100	2.54 / 2.39 / 2,36	3017/936/843
waifu2x-ncnn-vulkan	400x400	800x800	400/200/100	1.17 / 1.04 / 1.02	2430/638/197
waifu2x-caffe-cui	400x400	800x800	400/200/100	2.91 / 2.43 / 2.7	3202/1389/1178
waifu2x-ncnn-vulkan	1000x1000	2000x2000	400/200/100	2.35 / 2.26 / 2,46	2430/638/197
waifu2x-caffe-cui	1000x1000	2000x2000	400/200/100	4.04 / 3.79 / 4.35	3258/1582/1175
waifu2x-ncnn-vulkan	2000x2000	4000x4000	400/200/100	6.46 / 6.59 / 7.49	2430/686/213
waifu2x-caffe-cui	2000x2000	4000x4000	400/200/100	7.01 / 7.54 / 10.11	3258/1499/1200
waifu2x-ncnn-vulkan	4000x4000	8000x8000	400/200/100	22.78 / 23.78 / 27.61	2448/654/213
waifu2x-caffe-cui	4000x4000	8000x8000	400/200/100	18.45 / 21.85 / 31.82	3325/1652/1236

upconv_7_anime_style_art_rgb

	Taille de l'image	Taille cible	Taille de blocage	Temps total (s)	Mémoire de GPU (MB)
waifu2x-ncnn-vulkan	200x200	400x400	400/200/100	0,74 / 0,75 / 0,72	482/482/142
waifu2x-caffe-cui	200x200	400x400	400/200/100	2.04 / 1.99 / 1.99	995/546/459
waifu2x-ncnn-vulkan	400x400	800x800	400/200/100	0,95 / 0,83 / 0,81	1762/482/142
waifu2x-caffe-cui	400x400	800x800	400/200/100	2.08 / 2.12 / 2.11	995/546/459
waifu2x-ncnn-vulkan	1000x1000	2000x2000	400/200/100	1.52 / 1.41 / 1.44	1778/482/142
waifu2x-caffe-cui	1000x1000	2000x2000	400/200/100	2.72 / 2.60 / 2,68	1015/570/459
waifu2x-ncnn-vulkan	2000x2000	4000x4000	400/200/100	3.45 / 3.42 / 3,63	1778/482/142
waifu2x-caffe-cui	2000x2000	4000x4000	400/200/100	3.90 / 4.01 / 4.35	1015/521/462
waifu2x-ncnn-vulkan	4000x4000	8000x8000	400/200/100	11.16 / 11.29 / 12.07	1796/498/158
waifu2x-caffe-cui	4000x4000	8000x8000	400/200/100	9.24 / 9.81 / 11.16	995/546/436

Exemples d'images

Image originale

Haut de gamme 2x avec ImageMagick

convert origin.jpg -resize 200% output.png

Haut de gamme 2x avec un filtre ImageMagick Lanczo4

convert origin.jpg -filter Lanczos -resize 200% output.png

2x haut de gamme avec du bruit waifu2x = 2 échelle = 2

waifu2x-ncnn-vulkan.exe -i origin.jpg -o output.png -n 2 -s 2

Projet original waifu2x

• https://github.com/nagadomi/waifu2x
• https://github.com/lltcggie/waifu2x-caffe

Autre code open source utilisé

• https://github.com/tencent/ncnn pour l'inférence du réseau neuronal rapide sur toutes les plateformes
• https://github.com/webmproject/libwebp pour l'encodage et le décodage des images Webp sur toutes les plateformes
• https://github.com/nothings/stb pour le décodage et le codage de l'image sur Linux / macOS
• https://github.com/tronkko/dirent pour la liste des fichiers dans le répertoire sur Windows