SUPIR
1.0.0
[Paper] [Página do projeto] [aplicativo online]
Fanghua, Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong
Instituto Shenzhen de Tecnologia Avançada; Laboratório de Xangai AI; Universidade de Sydney; A Universidade Politécnica de Hong Kong; Laboratório de arco, tencent PCG; A Universidade Chinesa de Hong Kong
Repo Clone
git clone https://github.com/Fanghua-Yu/SUPIR.git
cd SUPIRInstale pacotes dependentes
conda create -n SUPIR python=3.8 -y
conda activate SUPIR
pip install --upgrade pip
pip install -r requirements.txtBaixar pontos de verificação
Para usuários que podem se conectar ao HuggingFace, configurando LLAVA_CLIP_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CKPT_PTH em CKPT_PTH.py como None . Esses clipes serão baixados automaticamente.
SDXL base 1.0_0.9vae para foto realistaSUPIR_v0_Juggernautv9_lightning.yaml SUPIR-v0Q : Baidu NetDisk, Google Drive
Configurações de treinamento padrão com papel. Alta generalização e alta qualidade de imagem na maioria dos casos.
SUPIR-v0F : Baidu NetDisk, Google Drive
Treinamento com configurações de degradação leve. O codificador do Stage1 do SUPIR-v0F continua sendo mais detalhes ao enfrentar degradações leves.
* [CKPT_PTH.py] --> LLAVA_CLIP_PATH, LLAVA_MODEL_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CACHE_DIR
* [options/SUPIR_v0.yaml] --> SDXL_CKPT, SUPIR_CKPT_Q, SUPIR_CKPT_F
Realphoto60: Baidu NetDisk, Google Drive
Usage:
-- python test.py [options]
-- python gradio_demo.py [interactive options]
--img_dir Input folder.
--save_dir Output folder.
--upscale Upsampling ratio of given inputs. Default: 1
--SUPIR_sign Model selection. Default: ' Q ' ; Options: [ ' F ' , ' Q ' ]
--seed Random seed. Default: 1234
--min_size Minimum resolution of output images. Default: 1024
--edm_steps Numb of steps for EDM Sampling Scheduler. Default: 50
--s_stage1 Control Strength of Stage1. Default: -1 (negative means invalid)
--s_churn Original hy-param of EDM. Default: 5
--s_noise Original hy-param of EDM. Default: 1.003
--s_cfg Classifier-free guidance scale for prompts. Default: 7.5
--s_stage2 Control Strength of Stage2. Default: 1.0
--num_samples Number of samples for each input. Default: 1
--a_prompt Additive positive prompt for all inputs.
Default: ' Cinematic, High Contrast, highly detailed, taken using a Canon EOS R camera,
hyper detailed photo - realistic maximum detail, 32k, Color Grading, ultra HD, extreme
meticulous detailing, skin pore detailing, hyper sharpness, perfect without deformations. '
--n_prompt Fixed negative prompt for all inputs.
Default: ' painting, oil painting, illustration, drawing, art, sketch, oil painting,
cartoon, CG Style, 3D render, unreal engine, blurring, dirty, messy, worst quality,
low quality, frames, watermark, signature, jpeg artifacts, deformed, lowres, over-smooth '
--color_fix_type Color Fixing Type. Default: ' Wavelet ' ; Options: [ ' None ' , ' AdaIn ' , ' Wavelet ' ]
--linear_CFG Linearly (with sigma) increase CFG from ' spt_linear_CFG ' to s_cfg. Default: False
--linear_s_stage2 Linearly (with sigma) increase s_stage2 from ' spt_linear_s_stage2 ' to s_stage2. Default: False
--spt_linear_CFG Start point of linearly increasing CFG. Default: 1.0
--spt_linear_s_stage2 Start point of linearly increasing s_stage2. Default: 0.0
--ae_dtype Inference data type of AutoEncoder. Default: ' bf16 ' ; Options: [ ' fp32 ' , ' bf16 ' ]
--diff_dtype Inference data type of Diffusion. Default: ' fp16 ' ; Options: [ ' fp32 ' , ' fp16 ' , ' bf16 ' ] # Seek for best quality for most cases
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-Q --SUPIR_sign Q --upscale 2
# for light degradation and high fidelity
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-F --SUPIR_sign F --upscale 2 --s_cfg 4.0 --linear_CFGCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history
# Juggernaut_RunDiffusionPhoto2_Lightning_4Steps and DPM++ M2 SDE Karras for fast sampling
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --opt options/SUPIR_v0_Juggernautv9_lightning.yaml
# less VRAM & slower (12G for Diffusion, 16G for LLaVA)
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --loading_half_params --use_tile_vae --load_8bit_llava
Acabamos de lançar a Supixel AI, uma ferramenta fácil de usar projetada para ajudar no processamento e aumento de imagens de alta qualidade. Ele se baseia no supir. Se você gosta de fotografia, arte digital ou simplesmente adora brincar com aprimoramento da imagem, adoraríamos que você confira. ~
@misc{yu2024scaling,
title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild},
author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
year={2024},
eprint={2401.13627},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Se você tiver alguma dúvida, envie um email para [email protected] ou [email protected] .
O supir ("software") é disponibilizado para uso, reprodução e distribuição estritamente para fins não comerciais. Para os propósitos desta declaração, "não comercial" é definido como não destinado principalmente a ou direcionado à vantagem comercial ou compensação monetária.
Ao usar, reproduzir ou distribuir o software, você concorda em cumprir essa restrição e não usar o software para fins comerciais sem obter permissão prévia por escrito do Dr. Jinjin Gu.
Esta declaração não limita de forma alguma os direitos sob nenhuma licença de código aberto que possa se aplicar ao software; Ele acrescenta apenas uma condição de que o software não deve ser usado para fins comerciais.
Em nenhum caso os autores ou detentores de direitos autorais serão responsáveis por qualquer reclamação, danos ou outro passivo, seja em uma ação de contrato, delito ou não, decorrente de, fora ou em conexão com o software ou o uso ou outras negociações no software.
Para obter consultas ou para obter permissão para uso comercial, entre em contato com o Dr. Jinjin Gu ([email protected]).
