SUPIR
1.0.0
[Document] [Page de projet] [Application en ligne]
Fanghua, Yu, Jinjin GU, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong
Shenzhen Institute of Advanced Technology; Laboratoire Shanghai AI; Université de Sydney; L'Université polytechnique de Hong Kong; Arc Lab, Tencent PCG; Université chinoise de Hong Kong
Repo clone
git clone https://github.com/Fanghua-Yu/SUPIR.git
cd SUPIRInstaller des packages dépendants
conda create -n SUPIR python=3.8 -y
conda activate SUPIR
pip install --upgrade pip
pip install -r requirements.txtTélécharger les points de contrôle
Pour les utilisateurs qui peuvent se connecter à HuggingFace, veuillez définir LLAVA_CLIP_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CKPT_PTH dans CKPT_PTH.py comme None . Ces clips seront téléchargés automatiquement.
SDXL base 1.0_0.9vae pour la photo réalisteSUPIR_v0_Juggernautv9_lightning.yaml SUPIR-v0Q : Baidu Netdisk, Google Drive
Paramètres de formation par défaut avec papier. Généralisation élevée et qualité d'image élevée dans la plupart des cas.
SUPIR-v0F : Baidu Netdisk, Google Drive
Formation avec des paramètres de dégradation légers. L'encodeur de stade1 de SUPIR-v0F reste plus de détails lorsqu'ils sont confrontés à des dégradations légères.
* [CKPT_PTH.py] --> LLAVA_CLIP_PATH, LLAVA_MODEL_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CACHE_DIR
* [options/SUPIR_v0.yaml] --> SDXL_CKPT, SUPIR_CKPT_Q, SUPIR_CKPT_F
Realphoto60: baidu netdisk, google drive
Usage:
-- python test.py [options]
-- python gradio_demo.py [interactive options]
--img_dir Input folder.
--save_dir Output folder.
--upscale Upsampling ratio of given inputs. Default: 1
--SUPIR_sign Model selection. Default: ' Q ' ; Options: [ ' F ' , ' Q ' ]
--seed Random seed. Default: 1234
--min_size Minimum resolution of output images. Default: 1024
--edm_steps Numb of steps for EDM Sampling Scheduler. Default: 50
--s_stage1 Control Strength of Stage1. Default: -1 (negative means invalid)
--s_churn Original hy-param of EDM. Default: 5
--s_noise Original hy-param of EDM. Default: 1.003
--s_cfg Classifier-free guidance scale for prompts. Default: 7.5
--s_stage2 Control Strength of Stage2. Default: 1.0
--num_samples Number of samples for each input. Default: 1
--a_prompt Additive positive prompt for all inputs.
Default: ' Cinematic, High Contrast, highly detailed, taken using a Canon EOS R camera,
hyper detailed photo - realistic maximum detail, 32k, Color Grading, ultra HD, extreme
meticulous detailing, skin pore detailing, hyper sharpness, perfect without deformations. '
--n_prompt Fixed negative prompt for all inputs.
Default: ' painting, oil painting, illustration, drawing, art, sketch, oil painting,
cartoon, CG Style, 3D render, unreal engine, blurring, dirty, messy, worst quality,
low quality, frames, watermark, signature, jpeg artifacts, deformed, lowres, over-smooth '
--color_fix_type Color Fixing Type. Default: ' Wavelet ' ; Options: [ ' None ' , ' AdaIn ' , ' Wavelet ' ]
--linear_CFG Linearly (with sigma) increase CFG from ' spt_linear_CFG ' to s_cfg. Default: False
--linear_s_stage2 Linearly (with sigma) increase s_stage2 from ' spt_linear_s_stage2 ' to s_stage2. Default: False
--spt_linear_CFG Start point of linearly increasing CFG. Default: 1.0
--spt_linear_s_stage2 Start point of linearly increasing s_stage2. Default: 0.0
--ae_dtype Inference data type of AutoEncoder. Default: ' bf16 ' ; Options: [ ' fp32 ' , ' bf16 ' ]
--diff_dtype Inference data type of Diffusion. Default: ' fp16 ' ; Options: [ ' fp32 ' , ' fp16 ' , ' bf16 ' ] # Seek for best quality for most cases
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-Q --SUPIR_sign Q --upscale 2
# for light degradation and high fidelity
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-F --SUPIR_sign F --upscale 2 --s_cfg 4.0 --linear_CFGCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history
# Juggernaut_RunDiffusionPhoto2_Lightning_4Steps and DPM++ M2 SDE Karras for fast sampling
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --opt options/SUPIR_v0_Juggernautv9_lightning.yaml
# less VRAM & slower (12G for Diffusion, 16G for LLaVA)
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --loading_half_params --use_tile_vae --load_8bit_llava
Nous venons de lancer Suppixel IA, un outil facile à utiliser conçu pour aider à un traitement d'image de haute qualité et à la mise à l'échelle. Il s'appuie sur Supir. Que vous soyez dans la photographie, l'art numérique ou que vous aimez simplement jouer avec l'amélioration de l'image, nous aimerions que vous le vérifiez. ~
@misc{yu2024scaling,
title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild},
author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
year={2024},
eprint={2401.13627},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Si vous avez une question, veuillez envoyer un e-mail [email protected] ou [email protected] .
Le SUPER ("logiciel") est mis à disposition pour une utilisation, une reproduction et une distribution strictement à des fins non commerciales. Aux fins de la présente déclaration, «non commercial» est défini comme non principalement destiné ou dirigé vers un avantage commercial ou une compensation monétaire.
En utilisant, en reproduisant ou en distribuant le logiciel, vous acceptez de respecter cette restriction et de ne pas utiliser le logiciel à des fins commerciales sans obtenir une autorisation écrite préalable du Dr Jinjin Gu.
Cette déclaration ne limite en aucune façon les droits en vertu d'une licence open source qui peut s'appliquer au logiciel; Il ajoute uniquement une condition que le logiciel ne doit pas être utilisé à des fins commerciales.
En aucun cas, les auteurs ou les détenteurs de droits d'auteur ne seront pas responsables de toute réclamation, dommage ou autre responsabilité, que ce soit dans une action de contrat, de délit ou autre, découlant de, hors du logiciel ou de l'utilisation ou d'autres relations dans le logiciel.
Pour des demandes de renseignements ou pour obtenir l'autorisation d'usage commercial, veuillez contacter le Dr Jinjin Gu ([email protected]).
