SUPIR Download - SUPIR Source code download

SUPIR

ular piton

1.0.0

Unduh

(CVPR2024) Meningkatkan Keunggulan: Praktik Model Scaling untuk Pemulihan Gambar Realistis Foto di alam liar

[Paper] [Halaman Proyek] [Aplikasi Online]
Fanghua, Yu, Jinjin Gu, Zheyuan LI, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong
Shenzhen Institute of Advanced Technology; Laboratorium Shanghai AI; Universitas Sydney; Universitas Politeknik Hong Kong; Laboratorium arc, tencent pcg; Universitas Cina Hong Kong

Kami senang mengumumkan peluncuran resmi Suppixel AI! Rasakan tingkat pemrosesan gambar dan peningkatan dengan teknologi AI mutakhir kami berdasarkan SUPIR. Jelajahi sekarang di Suppixel.ai.

? Ketergantungan dan instalasi

Klon Repo

git clone https://github.com/Fanghua-Yu/SUPIR.git
cd SUPIR

Instal Paket Dependent

conda create -n SUPIR python=3.8 -y
conda activate SUPIR
pip install --upgrade pip
pip install -r requirements.txt

Unduh pos pemeriksaan

Untuk pengguna yang dapat terhubung ke HuggingFace, silakan mengatur LLAVA_CLIP_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CKPT_PTH di CKPT_PTH.py karena None . Klip ini akan diunduh secara otomatis.

Model dependen

SDXL Clip Encoder-1
SDXL Clip Encoder-2
SDXL BASE 1.0_0.9VAE
Klip llava
Llava v1.5 13b
(Opsional) Juggernaut-xl_v9_rundiffusionphoto_v2
- Penggantian SDXL base 1.0_0.9vae untuk foto realistis
(Opsional) juggernaut_rundiffusionphoto2_lightning_4steps
- Model Distilling Digunakan dalam SUPIR_v0_Juggernautv9_lightning.yaml

Model yang kami berikan:

SUPIR-v0Q : Baidu Netdisk, Google Drive
Pengaturan pelatihan default dengan kertas. Generalisasi tinggi dan kualitas gambar tinggi dalam banyak kasus.
SUPIR-v0F : Baidu Netdisk, Google Drive
Pelatihan dengan pengaturan degradasi ringan. Encoder Stage1 dari SUPIR-v0F tetap lebih detail saat menghadapi degradasi cahaya.

Edit jalur khusus untuk pos pemeriksaan

 * [CKPT_PTH.py] --> LLAVA_CLIP_PATH, LLAVA_MODEL_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CACHE_DIR 
* [options/SUPIR_v0.yaml] --> SDXL_CKPT, SUPIR_CKPT_Q, SUPIR_CKPT_F

⚡ Inferensi cepat

Dataset Val

RealPhoto60: Baidu Netdisk, Google Drive

Penggunaan SUPIR

Usage: 
-- python test.py [options] 
-- python gradio_demo.py [interactive options]

--img_dir                Input folder.
--save_dir               Output folder.
--upscale                Upsampling ratio of given inputs. Default: 1
--SUPIR_sign             Model selection. Default: ' Q ' ; Options: [ ' F ' , ' Q ' ]
--seed                   Random seed. Default: 1234
--min_size               Minimum resolution of output images. Default: 1024
--edm_steps              Numb of steps for EDM Sampling Scheduler. Default: 50
--s_stage1               Control Strength of Stage1. Default: -1 (negative means invalid)
--s_churn                Original hy-param of EDM. Default: 5
--s_noise                Original hy-param of EDM. Default: 1.003
--s_cfg                  Classifier-free guidance scale for prompts. Default: 7.5
--s_stage2               Control Strength of Stage2. Default: 1.0
--num_samples            Number of samples for each input. Default: 1
--a_prompt               Additive positive prompt for all inputs. 
    Default: ' Cinematic, High Contrast, highly detailed, taken using a Canon EOS R camera, 
    hyper detailed photo - realistic maximum detail, 32k, Color Grading, ultra HD, extreme
     meticulous detailing, skin pore detailing, hyper sharpness, perfect without deformations. '
--n_prompt               Fixed negative prompt for all inputs. 
    Default: ' painting, oil painting, illustration, drawing, art, sketch, oil painting, 
    cartoon, CG Style, 3D render, unreal engine, blurring, dirty, messy, worst quality, 
    low quality, frames, watermark, signature, jpeg artifacts, deformed, lowres, over-smooth '
--color_fix_type         Color Fixing Type. Default: ' Wavelet ' ; Options: [ ' None ' , ' AdaIn ' , ' Wavelet ' ]
--linear_CFG             Linearly (with sigma) increase CFG from ' spt_linear_CFG ' to s_cfg. Default: False
--linear_s_stage2        Linearly (with sigma) increase s_stage2 from ' spt_linear_s_stage2 ' to s_stage2. Default: False
--spt_linear_CFG         Start point of linearly increasing CFG. Default: 1.0
--spt_linear_s_stage2    Start point of linearly increasing s_stage2. Default: 0.0
--ae_dtype               Inference data type of AutoEncoder. Default: ' bf16 ' ; Options: [ ' fp32 ' , ' bf16 ' ]
--diff_dtype             Inference data type of Diffusion. Default: ' fp16 ' ; Options: [ ' fp32 ' , ' fp16 ' , ' bf16 ' ]

Skrip Python

 # Seek for best quality for most cases
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-Q --SUPIR_sign Q --upscale 2
# for light degradation and high fidelity
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-F --SUPIR_sign F --upscale 2 --s_cfg 4.0 --linear_CFG

Demo Gradio

CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history

# Juggernaut_RunDiffusionPhoto2_Lightning_4Steps and DPM++ M2 SDE Karras for fast sampling
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --opt options/SUPIR_v0_Juggernautv9_lightning.yaml

# less VRAM & slower (12G for Diffusion, 16G for LLaVA)
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --loading_half_params --use_tile_vae --load_8bit_llava

Aplikasi online

Kami baru saja meluncurkan Suppixel AI, alat yang mudah digunakan yang dirancang untuk membantu dengan pemrosesan gambar dan peningkatan gambar berkualitas tinggi. Itu dibangun di atas SUPIR. Baik Anda menyukai fotografi, seni digital, atau hanya suka bermain -main dengan peningkatan gambar, kami ingin Anda memeriksanya. ~

Bibtex

 @misc{yu2024scaling,
  title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild}, 
  author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
  year={2024},
  eprint={2401.13627},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

? Kontak

Jika Anda memiliki pertanyaan, silakan kirim email [email protected] atau [email protected] .

Penggunaan non-komersial hanya deklarasi

SUPIR ("Perangkat Lunak") tersedia untuk digunakan, reproduksi, dan distribusi secara ketat untuk tujuan non-komersial. Untuk keperluan deklarasi ini, "non-komersial" didefinisikan sebagai tidak terutama dimaksudkan untuk atau diarahkan pada keunggulan komersial atau kompensasi moneter.

Dengan menggunakan, mereproduksi, atau mendistribusikan perangkat lunak, Anda setuju untuk mematuhi pembatasan ini dan tidak menggunakan perangkat lunak untuk tujuan komersial apa pun tanpa mendapatkan izin tertulis sebelumnya dari Dr. Jinjin Gu.

Deklarasi ini tidak dengan cara apa pun membatasi hak di bawah lisensi sumber terbuka apa pun yang mungkin berlaku untuk perangkat lunak; Ini semata -mata menambahkan kondisi bahwa perangkat lunak tidak boleh digunakan untuk tujuan komersial.

Dalam hal apa pun penulis atau pemegang hak cipta tidak akan bertanggung jawab atas klaim, kerusakan atau tanggung jawab lainnya, baik dalam tindakan kontrak, gugatan atau sebaliknya, timbul dari, di luar atau sehubungan dengan perangkat lunak atau penggunaan atau transaksi lain dalam perangkat lunak.

Untuk pertanyaan atau untuk mendapatkan izin untuk penggunaan komersial, silakan hubungi Dr. Jinjin Gu ([email protected]).

Memperluas

Informasi Tambahan