SUPIR
1.0.0
[ورقة] [صفحة المشروع] [تطبيق عبر الإنترنت]
Fanghua ، Yu ، Jinjin Gu ، Zheyuan Li ، Jinfan Hu ، Xiangtao Kong ، Xintao Wang ، Jingwen He ، Yu Qiao ، Chao Dong
معهد شنتشن للتكنولوجيا المتقدمة ؛ مختبر شنغهاي AI ؛ جامعة سيدني جامعة هونغ كونغ بوليتكنيك ؛ Arc Lab ، Tencent PCG ؛ الجامعة الصينية في هونغ كونغ
استنساخ repo
git clone https://github.com/Fanghua-Yu/SUPIR.git
cd SUPIRتثبيت الحزم المعتمدة
conda create -n SUPIR python=3.8 -y
conda activate SUPIR
pip install --upgrade pip
pip install -r requirements.txtقم بتنزيل نقاط التفتيش
بالنسبة للمستخدمين الذين يمكنهم الاتصال بـ HuggingFace ، يرجى تعيين LLAVA_CLIP_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CKPT_PTH في CKPT_PTH.py كما None . سيتم تنزيل هذه المقاطع تلقائيًا.
SDXL base 1.0_0.9vae للصورة الواقعيةSUPIR_v0_Juggernautv9_lightning.yaml SUPIR-v0Q : Baidu NetDisk ، Google Drive
إعدادات التدريب الافتراضية مع الورق. تعميم مرتفع وجودة الصورة المرتفعة في معظم الحالات.
SUPIR-v0F : Baidu NetDisk ، Google Drive
التدريب مع إعدادات تدهور الضوء. لا يزال برنامج Encoder من SUPIR-v0F أكثر تفاصيل عند مواجهة تدهور الضوء.
* [CKPT_PTH.py] --> LLAVA_CLIP_PATH, LLAVA_MODEL_PATH, SDXL_CLIP1_PATH, SDXL_CLIP2_CACHE_DIR
* [options/SUPIR_v0.yaml] --> SDXL_CKPT, SUPIR_CKPT_Q, SUPIR_CKPT_F
RealPhoto60: Baidu NetDisk ، Google Drive
Usage:
-- python test.py [options]
-- python gradio_demo.py [interactive options]
--img_dir Input folder.
--save_dir Output folder.
--upscale Upsampling ratio of given inputs. Default: 1
--SUPIR_sign Model selection. Default: ' Q ' ; Options: [ ' F ' , ' Q ' ]
--seed Random seed. Default: 1234
--min_size Minimum resolution of output images. Default: 1024
--edm_steps Numb of steps for EDM Sampling Scheduler. Default: 50
--s_stage1 Control Strength of Stage1. Default: -1 (negative means invalid)
--s_churn Original hy-param of EDM. Default: 5
--s_noise Original hy-param of EDM. Default: 1.003
--s_cfg Classifier-free guidance scale for prompts. Default: 7.5
--s_stage2 Control Strength of Stage2. Default: 1.0
--num_samples Number of samples for each input. Default: 1
--a_prompt Additive positive prompt for all inputs.
Default: ' Cinematic, High Contrast, highly detailed, taken using a Canon EOS R camera,
hyper detailed photo - realistic maximum detail, 32k, Color Grading, ultra HD, extreme
meticulous detailing, skin pore detailing, hyper sharpness, perfect without deformations. '
--n_prompt Fixed negative prompt for all inputs.
Default: ' painting, oil painting, illustration, drawing, art, sketch, oil painting,
cartoon, CG Style, 3D render, unreal engine, blurring, dirty, messy, worst quality,
low quality, frames, watermark, signature, jpeg artifacts, deformed, lowres, over-smooth '
--color_fix_type Color Fixing Type. Default: ' Wavelet ' ; Options: [ ' None ' , ' AdaIn ' , ' Wavelet ' ]
--linear_CFG Linearly (with sigma) increase CFG from ' spt_linear_CFG ' to s_cfg. Default: False
--linear_s_stage2 Linearly (with sigma) increase s_stage2 from ' spt_linear_s_stage2 ' to s_stage2. Default: False
--spt_linear_CFG Start point of linearly increasing CFG. Default: 1.0
--spt_linear_s_stage2 Start point of linearly increasing s_stage2. Default: 0.0
--ae_dtype Inference data type of AutoEncoder. Default: ' bf16 ' ; Options: [ ' fp32 ' , ' bf16 ' ]
--diff_dtype Inference data type of Diffusion. Default: ' fp16 ' ; Options: [ ' fp32 ' , ' fp16 ' , ' bf16 ' ] # Seek for best quality for most cases
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-Q --SUPIR_sign Q --upscale 2
# for light degradation and high fidelity
CUDA_VISIBLE_DEVICES=0,1 python test.py --img_dir ' /opt/data/private/LV_Dataset/DiffGLV-Test-All/RealPhoto60/LQ ' --save_dir ./results-F --SUPIR_sign F --upscale 2 --s_cfg 4.0 --linear_CFGCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history
# Juggernaut_RunDiffusionPhoto2_Lightning_4Steps and DPM++ M2 SDE Karras for fast sampling
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --opt options/SUPIR_v0_Juggernautv9_lightning.yaml
# less VRAM & slower (12G for Diffusion, 16G for LLaVA)
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py --ip 0.0.0.0 --port 6688 --use_image_slider --log_history --loading_half_params --use_tile_vae --load_8bit_llava
لقد أطلقنا للتو Suppixel AI ، وهي أداة سهلة الاستخدام مصممة للمساعدة في معالجة الصور عالية الجودة وترقية. انها تبني على supper. سواء كنت في التصوير الفوتوغرافي أو الفن الرقمي أو مجرد حب اللعب مع تحسين الصور ، نود أن تتحقق من ذلك. ~
@misc{yu2024scaling,
title={Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild},
author={Fanghua Yu and Jinjin Gu and Zheyuan Li and Jinfan Hu and Xiangtao Kong and Xintao Wang and Jingwen He and Yu Qiao and Chao Dong},
year={2024},
eprint={2401.13627},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
إذا كان لديك أي سؤال ، فيرجى إرسال بريد إلكتروني [email protected] أو [email protected] .
يتم توفير SUPPIN ("البرمجيات") للاستخدام والاستنساخ والتوزيع بشكل صارم لأغراض غير تجارية. لأغراض هذا الإعلان ، يتم تعريف "غير التجاري" على أنها غير مخصصة في المقام الأول أو توجيهها نحو الميزة التجارية أو التعويض النقدي.
باستخدام البرنامج أو إعادة إنتاجه أو توزيعه ، فأنت توافق على الالتزام بهذا التقييد وعدم استخدام البرنامج لأي أغراض تجارية دون الحصول على إذن كتابي مسبق من الدكتور جينجين غو.
هذا الإعلان لا يحد بأي حال الحقوق بموجب أي ترخيص مفتوح المصدر قد ينطبق على البرنامج ؛ يضيف فقط شرطًا لا يتم استخدام البرنامج لأغراض تجارية.
لا يجوز بأي حال من الأحوال أن يكون المؤلفون أو حاملي حقوق الطبع والنشر مسؤولاً عن أي مطالبة أو أضرار أو مسؤولية أخرى ، سواء في إجراء عقد أو ضرر أو غير ذلك ، ناشئة عن أو خارج البرنامج أو الاستخدام أو غيرها من المعاملات في البرنامج.
للاستفسارات أو للحصول على إذن للاستخدام التجاري ، يرجى الاتصال بـ Dr. Jinjin Gu ([email protected]).
