SUPIR 다운로드 - SUPIR 소스 코드 다운로드

SUPIR

파이썬

1.0.0

다운로드

(CVPR2024) 우수성으로 스케일링 : 야생의 사진 현실 이미지 복원을위한 모델 스케일링 연습

[종이] [프로젝트 페이지] [온라인 앱]
Fanghua, Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong
Shenzhen Institute of Advanced Technology; 상하이 AI 실험실; 시드니 대학교; 홍콩 폴리 테크닉 대학교; 아크 실험실, Tencent PCG; 중국 홍콩 대학교

우리는 Suppixel AI의 공식 출시를 발표하게되어 기쁩니다! SUPIR을 기반으로 한 최첨단 AI 기술로 다음 단계의 이미지 처리 및 업 스케일링을 경험하십시오. Suppixel.ai에서 지금 탐색하십시오.

? 종속성 및 설치

복제 레포

git clone https://github.com/Fanghua-Yu/SUPIR.git
cd SUPIR

종속 패키지를 설치하십시오

conda create -n SUPIR python=3.8 -y
conda activate SUPIR
pip install --upgrade pip
pip install -r requirements.txt

체크 포인트를 다운로드하십시오

LLAVA_CLIP_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CKPT_PTH CKPT_PTH.py None 이 클립은 자동으로 다운로드됩니다.

종속 모델

SDXL 클립 인코더 -1
SDXL 클립 인코더 -2
SDXL베이스 1.0_0.9VAE
llava 클립
llava v1.5 13b
(선택 사항) juggernaut-xl_v9_rundiffusionphoto_v2
- 사진 현실에 대한 SDXL base 1.0_0.9vae 교체
(선택 사항) juggernaut_rundiffusionphoto2_lightning_4steps
- SUPIR_v0_Juggernautv9_lightning.yaml 에 사용되는 증류 모델

우리가 제공 한 모델 :

SUPIR-v0Q : Baidu NetDisk, Google 드라이브
종이가있는 기본 교육 설정. 대부분의 경우 높은 일반화와 높은 이미지 품질.
SUPIR-v0F : Baidu NetDisk, Google 드라이브
가벼운 저하 설정으로 훈련. SUPIR-v0F 의 Stage1 인코더는 광 분해에 직면 할 때 더 자세한 내용을 유지합니다.

체크 포인트의 사용자 정의 경로를 편집하십시오

 * [CKPT_PTH.py] --> LLAVA_CLIP_PATH, LLAVA_MODEL_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CACHE_DIR 
* [options/SUPIR_v0.yaml] --> SDXL_CKPT, SUPIR_CKPT_Q, SUPIR_CKPT_F

⚡ 빠른 추론

VAL 데이터 세트

RealPhoto60 : Baidu NetDisk, Google 드라이브

supir의 사용

Usage: 
-- python test.py [options] 
-- python gradio_demo.py [interactive options]

--img_dir                Input folder.
--save_dir               Output folder.
--upscale                Upsampling ratio of given inputs. Default: 1
--SUPIR_sign             Model selection. Default: ' Q ' ; Options: [ ' F ' , ' Q ' ]
--seed                   Random seed. Default: 1234
--min_size               Minimum resolution of output images. Default: 1024
--edm_steps              Numb of steps for EDM Sampling Scheduler. Default: 50
--s_stage1               Control Strength of Stage1. Default: -1 (negative means invalid)
--s_churn                Original hy-param of EDM. Default: 5
--s_noise                Original hy-param of EDM. Default: 1.003
--s_cfg                  Classifier-free guidance scale for prompts. Default: 7.5
--s_stage2               Control Strength of Stage2. Default: 1.0
--num_samples            Number of samples for each input. Default: 1
--a_prompt               Additive positive prompt for all inputs. 
    Default: ' Cinematic, High Contrast, highly detailed, taken using a Canon EOS R camera, 
    hyper detailed photo - realistic maximum detail, 32k, Color Grading, ultra HD, extreme
     meticulous detailing, skin pore detailing, hyper sharpness, perfect without deformations. '
--n_prompt               Fixed negative prompt for all inputs. 
    Default: ' painting, oil painting, illustration, drawing, art, sketch, oil painting, 
    cartoon, CG Style, 3D render, unreal engine, blurring, dirty, messy, worst quality, 
    low quality, frames, watermark, signature, jpeg artifacts, deformed, lowres, over-smooth '
--color_fix_type         Color Fixing Type. Default: ' Wavelet ' ; Options: [ ' None ' , ' AdaIn ' , ' Wavelet ' ]
--linear_CFG             Linearly (with sigma) increase CFG from ' spt_linear_CFG ' to s_cfg. Default: False
--linear_s_stage2        Linearly (with sigma) increase s_stage2 from ' spt_linear_s_stage2 ' to s_stage2. Default: False
--spt_linear_CFG         Start point of linearly increasing CFG. Default: 1.0
--spt_linear_s_stage2    Start point of linearly increasing s_stage2. Default: 0.0
--ae_dtype               Inference data type of AutoEncoder. Default: ' bf16 ' ; Options: [ ' fp32 ' , ' bf16 ' ]
--diff_dtype             Inference data type of Diffusion. Default: ' fp16 ' ; Options: [ ' fp32 ' , ' fp16 ' , ' bf16 ' ]

파이썬 스크립트

 # Seek for best quality for most cases
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-Q --SUPIR_sign Q --upscale 2
# for light degradation and high fidelity
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-F --SUPIR_sign F --upscale 2 --s_cfg 4.0 --linear_CFG

Gradio 데모

CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history

# Juggernaut_RunDiffusionPhoto2_Lightning_4Steps and DPM++ M2 SDE Karras for fast sampling
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --opt options/SUPIR_v0_Juggernautv9_lightning.yaml

# less VRAM & slower (12G for Diffusion, 16G for LLaVA)
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --loading_half_params --use_tile_vae --load_8bit_llava

온라인 앱

우리는 고품질 이미지 처리 및 업 스케일링에 도움이되도록 설계된 사용하기 쉬운 도구 인 Suppixel AI를 방금 시작했습니다. 그것은 supir를 기반으로합니다. 당신이 사진, 디지털 아트에 있든, 그냥 이미지 향상을 좋아하는 것을 좋아하든, 우리는 당신이 그것을 확인하고 싶습니다. ~.

Bibtex

 @misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}