realcugan ncnn vulkan

NCNN Real-Cugan Vulkan

❗ ❗ ❗ Este software está no estágio inicial de desenvolvimento, pode morder seu gato

Implementação do NCNN do conversor Real-Cugan. Executa rápido na Intel / AMD / Nvidia / Apple-Silicon com API Vulkan.

O RealCugan-NCNN-Vulkan usa o projeto NCNN como a estrutura de inferência da rede neural universal.

Download

Faça o download do Windows/Linux/MacOS executável para GPU Intel/AMD/Nvidia/Apple-Silicon

https://github.com/nihui/realcugan-nncnn-vulkan/releases

Este pacote inclui todos os binários e modelos necessários. É portátil, então não é necessário um ambiente de tempo de execução CUDA ou Pytorch :)

Sobre o Real-Cugan

Real-Cugan (REAL Cascade U-Nets for Anime Image Super Resolution)

https://github.com/bilibili/ailab/tree/main/real-cugan

Usos

Exemplo de comando

realcugan-ncnn-vulkan.exe -i input.jpg -o output.png

Usos completos

 Usage: realcugan-ncnn-vulkan -i infile -o outfile [options]...

  -h                   show this help
  -v                   verbose output
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -n noise-level       denoise level (-1/0/1/2/3, default=-1)
  -s scale             upscale ratio (1/2/3/4, default=2)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -c syncgap-mode      sync gap mode (0/1/2/3, default=3)
  -m model-path        realcugan model path (default=models-se)
  -g gpu-id            gpu device to use (-1=cpu, default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode
  -f format            output image format (jpg/png/webp, default=ext/png)

• input-path e output-path aceitam o caminho do arquivo ou caminho do diretório
• noise-level = nível de ruído, grande valor significa forte efeito denoise, -1 = sem efeito
• scale = nível de escala, 1 = sem escala, 2 = sofisticado 2x
• tile-size = tamanho do ladrilho, use um valor menor para reduzir o uso da memória da GPU, o padrão seleciona automaticamente
• syncgap-mode = Sync Gap, 0 = sem sincronização, 1 = sincronização precisa, 2 = sincronização aproximada, 3 = sincronização muito áspera
• load:proc:save = contagem de threads para os três estágios (decodificação da imagem + Upscaling Upscaling + codificação de imagem), usando valores maiores, pode aumentar o uso da GPU e consumir mais memória GPU. Você pode ajustar essa configuração com "4: 4: 4" para muitas imagens de tamanho pequeno e "2: 2: 2" para imagens de tamanho grande. A configuração padrão geralmente funciona bem para a maioria das situações. Se você achar que sua GPU está com fome, tente aumentar a contagem de roscas para obter um processamento mais rápido.
• format = o formato da imagem a ser produzido, o PNG é melhor suportado, no entanto, o WebP geralmente produz tamanhos de arquivo menores, ambos são codificados sem perdas

Se você encontrar um acidente ou erro, tente atualizar o driver da GPU:

• Intel: https://downloadcenter.intel.com/product/80939/graphics-drivers
• AMD: https://www.amd.com/en/support
• Nvidia: https://www.nvidia.com/download/index.aspx

Construir a partir da fonte

1. Faça o download e configure o SDK Vulkan em https://vulkan.lunarg.com/

• Para distribuições Linux, você pode obter os requisitos essenciais de construção do gerenciador de pacotes

dnf install vulkan-headers vulkan-loader-devel

apt-get install libvulkan-dev

pacman -S vulkan-headers vulkan-icd-loader

2. Clone este projeto com todos os submódulos

git clone https://github.com/nihui/realcugan-ncnn-vulkan.git
cd realcugan-ncnn-vulkan
git submodule update --init --recursive

3. Construir com cmake

• Você pode passar -duse_static_moltenvk = na opção para evitar vincular a biblioteca Vulkan Loader no macOS

mkdir build
cd build
cmake ../src
cmake --build . -j 4

Exemplo de imagens

Imagem original

Sofisticado 2x com imagemagick

convert origin.jpg -resize 200% output.png

Upscale 2x com imagemagick lanczo4 filtro

convert origin.jpg -filter Lanczos -resize 200% output.png

A lupa 2x com o Real-Cugan

realcugan-ncnn-vulkan.exe -i origin.jpg -o output.png -s 2 -n 1 -x

Projeto original de Cugan Real

• https://github.com/bilibili/ailab/tree/main/real-cugan

Outro código de código aberto usado

• https://github.com/tencent/ncnn para inferência de rede neural rápida em todas as plataformas
• https://github.com/webmproject/libwebp para codificação e decodificação de imagens Webp em todas as plataformas
• https://github.com/nothings/stb para decodificar e codificar a imagem em Linux/MacOS
• https://github.com/tronkko/dirent para listar arquivos no diretório no Windows