หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
  1. - อัปเดต การสาธิตออนไลน์:. นี่คือการสำรองข้อมูล
  2. - อัปเดต การสาธิตออนไลน์:
  3. การสาธิต colab สำหรับ gfpgan; (การสาธิต colab อื่นสำหรับโมเดลกระดาษต้นฉบับ)

ขอบคุณสำหรับความสนใจในงานของเรา คุณอาจต้องการตรวจสอบการอัปเดตใหม่ของเราเกี่ยวกับ โมเดลเล็ก ๆ สำหรับ ภาพอะนิเมะและวิดีโอ ใน Real-Esrgan หรือไม่?

GFPGAN มีจุดมุ่งหมายที่จะพัฒนา อัลกอริทึมที่เป็นประโยชน์สำหรับการฟื้นฟูใบหน้าจริง
มันใช้ประโยชน์จากนักบวชที่หลากหลายและหลากหลายห่อหุ้มอยู่ในใบหน้าที่ผ่านการฝึกฝน ( เช่น Stylegan2) สำหรับการฟื้นฟูใบหน้าตาบอด

❓คำถามที่พบบ่อยสามารถพบได้ใน FAQ.MD

การอัปเดต


หาก gfpgan มีประโยชน์ในรูปภาพ/โครงการของคุณโปรดช่วย repo นี้หรือแนะนำให้เพื่อนของคุณ ขอบคุณ? โครงการที่แนะนำอื่น ๆ :
Real-Esrgan: อัลกอริทึมที่เป็นประโยชน์สำหรับการฟื้นฟูภาพทั่วไป
BasicsR: กล่องเครื่องมือการฟื้นฟูภาพและวิดีโอโอเพนซอร์ซ
facexlib: คอลเลกชันที่ให้ฟังก์ชั่นความสัมพันธ์ใบหน้าที่มีประโยชน์
HandyView: ตัวแสดงภาพที่ใช้ PYQT5 ที่มีประโยชน์สำหรับการดูและการเปรียบเทียบ


GFP-GAN: สู่การฟื้นฟูใบหน้าตาบอดในโลกแห่งความเป็นจริงด้วยการกำเนิดใบหน้าก่อน

[กระดาษ] [หน้าโครงการ] [สาธิต]
Xintao Wang, Yu Li, Honglun Zhang, Ying Shan
Applied Research Center (ARC), Tencent PCG


- การพึ่งพาและการติดตั้ง

การติดตั้ง

ตอนนี้เราให้ GFPGAN เวอร์ชัน ที่สะอาด ซึ่งไม่จำเป็นต้องมีส่วนขยาย CUDA ที่กำหนดเอง
หากคุณต้องการใช้โมเดลต้นฉบับในกระดาษของเราโปรดดู Papermodel.md สำหรับการติดตั้ง

  1. repo โคลน

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. ติดตั้งแพ็คเกจขึ้นอยู่กับ

     # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

⚡การอนุมานอย่างรวดเร็ว

เราใช้ตัวอย่าง v1.3 สำหรับตัวอย่าง สามารถพบโมเดลเพิ่มเติมได้ที่นี่

ดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมมาก่อน: gfpganv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

การอนุมาน

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
 Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

หากคุณต้องการใช้โมเดลต้นฉบับในกระดาษของเราโปรดดู Papermodel.md สำหรับการติดตั้งและการอนุมาน

- สวนสัตว์รุ่น

รุ่น ชื่อนางแบบ คำอธิบาย
v1.3 gfpganv1.3.pth ขึ้นอยู่กับ v1.2; ผลการฟื้นฟู ที่เป็นธรรมชาติมากขึ้น ผลลัพธ์ที่ดีกว่าเกี่ยวกับอินพุตที่มีคุณภาพต่ำ / คุณภาพสูง
v1.2 gfpgancleanv1-noce-c2.pth ไม่มีการทำสี ไม่จำเป็นต้องมีส่วนขยาย CUDA ได้รับการฝึกฝนด้วยข้อมูลเพิ่มเติมเกี่ยวกับการประมวลผลล่วงหน้า
V1 gfpganv1.pth โมเดลกระดาษที่มีสีสัน

การเปรียบเทียบอยู่ในการเปรียบเทียบ

โปรดทราบว่า v1.3 ไม่ดีไปกว่า v1.2 เสมอไป คุณอาจต้องเลือกรุ่นที่แตกต่างกันตามวัตถุประสงค์และอินพุตของคุณ

รุ่น จุดแข็ง ความอ่อนแอ
v1.3 ✓ผลลัพธ์ตามธรรมชาติ
✓ผลลัพธ์ที่ได้จากอินพุตที่มีคุณภาพต่ำมาก
✓ทำงานกับอินพุตที่มีคุณภาพค่อนข้างสูง
✓สามารถทำการบูรณะซ้ำ (สองครั้ง)
✗ไม่คมมาก
✗มีการเปลี่ยนแปลงตัวตนเล็กน้อย
v1.2 ✓เอาต์พุตที่คมชัดยิ่งขึ้น
✓ด้วยการแต่งหน้าความงาม
✗ผลลัพธ์บางอย่างผิดธรรมชาติ

คุณสามารถค้นหา รุ่นเพิ่มเติม (เช่น discriminators) ได้ที่นี่: [Google Drive] หรือ [Tencent Cloud 腾讯微云]

การฝึกอบรม

เราให้รหัสการฝึกอบรมสำหรับ GFPGAN (ใช้ในกระดาษของเรา)
คุณสามารถปรับปรุงได้ตามความต้องการของคุณเอง

เคล็ดลับ

  1. ใบหน้าที่มีคุณภาพสูงมากขึ้นสามารถปรับปรุงคุณภาพการฟื้นฟู
  2. คุณอาจต้องทำการประมวลผลล่วงหน้าเช่นการแต่งหน้าความงาม

ขั้นตอน

(คุณสามารถลองใช้เวอร์ชันง่าย ๆ ( options/train_gfpgan_v1_simple.yml ) ที่ไม่จำเป็นต้องใช้สถานที่สำคัญของส่วนประกอบใบหน้า)

  1. การเตรียมชุดข้อมูล: FFHQ

  2. ดาวน์โหลดรุ่นที่ผ่านการฝึกอบรมมาก่อนและข้อมูลอื่น ๆ วางไว้ในโฟลเดอร์ experiments/pretrained_models

    1. รุ่น Stylegan2 ที่ผ่านการฝึกอบรมมาก่อน: Stylegan2_512_cmul1_ffhq_b12g4_scratch_800k.pth
    2. ตำแหน่งส่วนประกอบของ FFHQ: FFHQ_EYE_MOUTH_LANDMARKS_512.PTH
    3. แบบจำลอง arcface ง่าย ๆ : arcface_resnet18.pth
  3. แก้ไข options/train_gfpgan_v1.yml ตามนั้น

  4. การฝึกอบรม

python -m torch.distributed.launch -nproc_per_node = 4 --master_port = 22021 gfpgan/train.py -opt ตัวเลือก/train_gfpgan_v1.yml -Launcher Pytorch

ใบอนุญาตและการรับทราบ

GFPGAN เปิดตัวภายใต้ Apache License Version 2.0

bibtex

 @InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

- ติดต่อ

หากคุณมีคำถามใด ๆ โปรดส่งอีเมลถึง [email protected] หรือ [email protected]

ขยาย
ข้อมูลเพิ่มเติม