หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

liif

ที่เก็บนี้มีการดำเนินการอย่างเป็นทางการสำหรับ LIIF ที่แนะนำในบทความต่อไปนี้:

การเรียนรู้การแสดงภาพต่อเนื่องด้วยฟังก์ชั่นภาพโดยปริยาย
Yinbo Chen, Sifei Liu, Xiaolong Wang
CVPR 2021 (ปาก)

หน้าโครงการพร้อมวิดีโออยู่ที่ https://yinboc.github.io/liif/

การอ้างอิง

หากคุณพบว่างานของเรามีประโยชน์ในการวิจัยของคุณโปรดอ้างอิง: 

 @inproceedings{chen2021learning,
  title={Learning continuous image representation with local implicit image function},
  author={Chen, Yinbo and Liu, Sifei and Wang, Xiaolong},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8628--8638},
  year={2021}
}

สิ่งแวดล้อม

  • Python 3
  • Pytorch 1.6.0
  • tensorboardx
  • yaml, numpy, tqdm, imageio

เริ่มต้นอย่างรวดเร็ว

  1. ดาวน์โหลดโมเดล Div2K ที่ผ่านการฝึกอบรมล่วงหน้า
แบบอย่าง ขนาดไฟล์ การดาวน์โหลด
Edsr-Baseline-Liif 18m Dropbox | Google Drive
rdn-liif 256m Dropbox | Google Drive
  1. แปลงภาพของคุณเป็น liif และนำเสนอในความละเอียดที่กำหนด (ด้วย GPU 0, [MODEL_PATH] หมายถึงไฟล์ .pth ) 
 python demo.py --input xxx.png --model [MODEL_PATH] --resolution [HEIGHT],[WIDTH] --output output.png --gpu 0

การทดลองทำซ้ำ

ข้อมูล

mkdir load สำหรับการวางโฟลเดอร์ชุดข้อมูล

  • Div2K : mkdir และ cd ลงใน load/div2k ดาวน์โหลดภาพ HR และการตรวจสอบ Bicubic ภาพ LR จากเว็บไซต์ Div2K (เช่น Train_Hr, Valid_Hr, Valid_LR_X2, Valid_LR_X3, Valid_LR_X4) unzip ไฟล์เหล่านี้เพื่อรับโฟลเดอร์รูปภาพ

  • ชุดข้อมูลมาตรฐาน : cd เป็น load/ ดาวน์โหลดและ tar -xf ชุดข้อมูลเบนช์มาร์ก (จัดทำโดย repo นี้) รับโฟลเดอร์ load/benchmark พร้อมโฟลเดอร์ย่อย Set5/, Set14/, B100/, Urban100/

  • celebahq : mkdir load/celebAHQ และ cp scripts/resize.py load/celebAHQ/ จากนั้น cd load/celebAHQ/ ดาวน์โหลดและ unzip Data1024x1024.zip จากลิงค์ Google Drive (จัดทำโดย repo นี้) เรียกใช้ python resize.py และรับโฟลเดอร์รูปภาพ 256/, 128/, 64/, 32/ ดาวน์โหลด split.json

รันรหัส

0. เบื้องต้น

  • สำหรับ train_liif.py หรือ test.py , ใช้ --gpu [GPU] เพื่อระบุ GPU (เช่น --gpu 0 หรือ --gpu 0,1 )

  • สำหรับ train_liif.py โดยค่าเริ่มต้นโฟลเดอร์บันทึกอยู่ที่ save/_[CONFIG_NAME] เราสามารถใช้ --name เพื่อระบุชื่อหากจำเป็น

  • สำหรับชุดข้อมูล args ใน configs, cache: in_memory หมายถึงการโหลดล่วงหน้าลงในหน่วยความจำ (อาจต้องใช้หน่วยความจำขนาดใหญ่เช่น ~ 40GB สำหรับ Div2K), cache: bin หมายถึงการสร้างไฟล์ไบนารี (ในโฟลเดอร์พี่น้อง) เป็นครั้งแรก cache: none การโหลดโดยตรง เราสามารถแก้ไขได้ตามทรัพยากรฮาร์ดแวร์ก่อนที่จะเรียกใช้สคริปต์การฝึกอบรม

1. การทดลอง Div2K

รถไฟ : python train_liif.py --config configs/train-div2k/train_edsr-baseline-liif.yaml (ด้วย backbone edsr-baseline สำหรับ RDN แทนที่ edsr-baseline ด้วย rdn ) เราใช้ 1 GPU สำหรับการฝึกอบรม EDSR-BASELINE-LIIF และ 4 GPU สำหรับ RDN-LIIF

การทดสอบ : bash scripts/test-div2k.sh [MODEL_PATH] [GPU] สำหรับชุดการตรวจสอบ Div2k, bash scripts/test-benchmark.sh [MODEL_PATH] [GPU] สำหรับชุดข้อมูลมาตรฐาน [MODEL_PATH] เป็นพา ธ ไปยังไฟล์ .pth เราใช้ epoch-last.pth ในโฟลเดอร์บันทึกที่สอดคล้องกัน

2. การทดลอง celebahq

รถไฟ : python train_liif.py --config configs/train-celebAHQ/[CONFIG_NAME].yaml

การทดสอบ : python test.py --config configs/test/test-celebAHQ-32-256.yaml --model [MODEL_PATH] (หรือ test-celebAHQ-64-128.yaml สำหรับงานอื่น) เราใช้ epoch-best.pth ในโฟลเดอร์บันทึกที่สอดคล้องกัน

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด