realcugan ncnn vulkan

Vulkan NCNN Real-Cugan

❗ ❗ ❗ Ce logiciel est au début du développement, il peut mordre votre chat

Implémentation NCNN du convertisseur Real-Cugan. Fonctionne rapidement sur Intel / AMD / Nvidia / Apple-Silicion avec API Vulkan.

RealCugan-NCNN-Vulkan utilise le projet NCNN comme cadre d'inférence du réseau neuronal universel.

Télécharger

Téléchargez l'exécutable Windows / Linux / MacOS pour GPU Intel / AMD / NVIDIA / Apple-Silicon

https://github.com/nihui/realcugan-ncnn-vulkan/releases

Ce package comprend tous les binaires et modèles requis. Il est portable, donc aucun environnement d'exécution Cuda ou Pytorch n'est nécessaire :)

Sur le vrai cugan

Real-Cugan (Real Cascade U-NETS pour l'image d'anime Super Résolution)

https://github.com/bilibili/ailab/tree/main/real-cugan

Usages

Exemple de commande

realcugan-ncnn-vulkan.exe -i input.jpg -o output.png

Usages complets

 Usage: realcugan-ncnn-vulkan -i infile -o outfile [options]...

  -h                   show this help
  -v                   verbose output
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -n noise-level       denoise level (-1/0/1/2/3, default=-1)
  -s scale             upscale ratio (1/2/3/4, default=2)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -c syncgap-mode      sync gap mode (0/1/2/3, default=3)
  -m model-path        realcugan model path (default=models-se)
  -g gpu-id            gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            output image format (jpg/png/webp, default=ext/png)

• input-path et output-path acceptent le chemin du fichier ou le chemin du répertoire
• noise-level = niveau de bruit, une grande valeur signifie un fort effet de débrouille, -1 = aucun effet
• scale = niveau d'échelle, 1 = pas de mise à l'échelle, 2 = haut de gamme 2x
• tile-size = taille des carreaux, utilisez une valeur plus petite pour réduire l'utilisation de la mémoire du GPU, par défaut sélectionne automatiquement
• syncgap-mode = mode Sync Gap, 0 = pas de synchronisation, 1 = synchronisation précise, 2 = synchronisation rugueuse, 3 = très rugueuse synchronisation
• load:proc:save = Count de thread pour les trois étapes (décodage d'image + realCugan Upscaling + Encoding d'image), l'utilisation de valeurs plus grandes peut augmenter l'utilisation du GPU et consommer plus de mémoire GPU. Vous pouvez régler cette configuration avec "4: 4: 4" pour de nombreuses images de petite taille, et "2: 2: 2" pour les images de grande taille. Le paramètre par défaut fonctionne généralement bien pour la plupart des situations. Si vous constatez que votre GPU a faim, essayez d'augmenter le nombre de fils pour atteindre un traitement plus rapide.
• format = Le format de l'image à sortir, PNG est mieux pris en charge, mais WebP fournit généralement des tailles de fichiers plus petites, les deux sont codés sans perte

Si vous rencontrez un crash ou une erreur, essayez de mettre à niveau votre pilote GPU:

• Intel: https://downloadcenter.intel.com/product/80939/graphics-drivers
• AMD: https://www.amd.com/en/support
• Nvidia: https://www.nvidia.com/download/index.aspx

Construire à partir de la source

1. Téléchargez et configurez le SDK Vulkan à partir de https://vulkan.lunarg.com/

• Pour les distributions Linux, vous pouvez soit obtenir les exigences de construction essentielles du gestionnaire de packages

dnf install vulkan-headers vulkan-loader-devel

apt-get install libvulkan-dev

pacman -S vulkan-headers vulkan-icd-loader

2. Clone ce projet avec tous les sous-modules

git clone https://github.com/nihui/realcugan-ncnn-vulkan.git
cd realcugan-ncnn-vulkan
git submodule update --init --recursive

3. Construire avec cmake

• Vous pouvez passer -DUSE_STATIC_MOLTENVK = OPTION ON OPTION pour éviter de lier la bibliothèque de chargeur Vulkan sur macOS

mkdir build
cd build
cmake ../src
cmake --build . -j 4

Exemples d'images

Image originale

Haut de gamme 2x avec ImageMagick

convert origin.jpg -resize 200% output.png

Haut de gamme 2x avec un filtre ImageMagick Lanczo4

convert origin.jpg -filter Lanczos -resize 200% output.png

2x haut de gamme avec du vrai cugan

realcugan-ncnn-vulkan.exe -i origin.jpg -o output.png -s 2 -n 1 -x

Projet original du vrai cugan

• https://github.com/bilibili/ailab/tree/main/real-cugan

Autre code open source utilisé

• https://github.com/tencent/ncnn pour l'inférence du réseau neuronal rapide sur toutes les plateformes
• https://github.com/webmproject/libwebp pour l'encodage et le décodage des images Webp sur toutes les plateformes
• https://github.com/nothings/stb pour le décodage et le codage de l'image sur Linux / macOS
• https://github.com/tronkko/dirent pour la liste des fichiers dans le répertoire sur Windows