liif

Liif

Repositori ini berisi implementasi resmi untuk LIIF yang diperkenalkan dalam makalah berikut:

Mempelajari representasi gambar berkelanjutan dengan fungsi gambar implisit lokal
Yinbo Chen, Sifei Liu, Xiaolong Wang
CVPR 2021 (oral)

Halaman proyek dengan video ada di https://yinboc.github.io/liif/.

Kutipan

Jika Anda menemukan pekerjaan kami berguna dalam penelitian Anda, silakan kutip:

 @inproceedings{chen2021learning,
  title={Learning continuous image representation with local implicit image function},
  author={Chen, Yinbo and Liu, Sifei and Wang, Xiaolong},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8628--8638},
  year={2021}
}

Lingkungan

• Python 3
• Pytorch 1.6.0
• Tensorboardx
• yaml, numpy, tqdm, Imageio

Awal yang cepat

1. Unduh model pra-terlatih Div2K.

Model	Ukuran file	Unduh
EDSR-BASELINE-LIIF	18m	Dropbox | Google Drive
Rdn-liif	256m	Dropbox | Google Drive

2. Konversikan gambar Anda menjadi liif dan menyajikannya dalam resolusi yang diberikan (dengan GPU 0, [MODEL_PATH] menunjukkan file .pth )

 python demo.py --input xxx.png --model [MODEL_PATH] --resolution [HEIGHT],[WIDTH] --output output.png --gpu 0

Reproduksi Eksperimen

Data

mkdir load untuk meletakkan folder dataset.

• Div2k : mkdir dan cd ke load/div2k . Unduh gambar HR dan validasi bicubic gambar LR dari situs web Div2K (yaitu train_hr, valid_hr, valid_lr_x2, valid_lr_x3, valid_lr_x4). unzip file -file ini untuk mendapatkan folder gambar.

• Dataset Benchmark : cd ke load/ . Unduh dan tar -xf Dataset Benchmark (disediakan oleh repo ini), dapatkan folder load/benchmark dengan sub -folder Set5/, Set14/, B100/, Urban100/ .

• Celebahq : mkdir load/celebAHQ dan cp scripts/resize.py load/celebAHQ/ , lalu cd load/celebAHQ/ . Unduh dan unzip data1024x1024.zip dari tautan Google Drive (disediakan oleh repo ini). Jalankan python resize.py dan dapatkan folder gambar 256/, 128/, 64/, 32/ . Unduh split.json.

Menjalankan kode

0. Pendahuluan

• Untuk train_liif.py atau test.py , gunakan --gpu [GPU] untuk menentukan GPU (misalnya --gpu 0 atau --gpu 0,1 ).

• Untuk train_liif.py , secara default, folder simpan ada di save/_[CONFIG_NAME] . Kami dapat menggunakan --name untuk menentukan nama jika diperlukan.

• Untuk dataset args di konfigurasi, cache: in_memory menunjukkan pra-pemuatan ke dalam memori (mungkin memerlukan memori besar, misalnya ~ 40GB untuk div2k), cache: bin menunjukkan membuat file biner (dalam folder saudara) untuk pertama kalinya, cache: none yang menunjukkan pemuatan langsung. Kami dapat memodifikasinya sesuai dengan sumber daya perangkat keras sebelum menjalankan skrip pelatihan.

1. Eksperimen Div2K

Kereta : python train_liif.py --config configs/train-div2k/train_edsr-baseline-liif.yaml (dengan tulang punggung EDSR-baseline, untuk RDN menggantikan edsr-baseline dengan rdn ). Kami menggunakan 1 GPU untuk melatih EDSR-BASELINE-LIIF dan 4 GPU untuk RDN-LIIF.

Tes : bash scripts/test-div2k.sh [MODEL_PATH] [GPU] Untuk set validasi Div2K, bash scripts/test-benchmark.sh [MODEL_PATH] [GPU] untuk set data benchmark. [MODEL_PATH] adalah jalur ke file .pth , kami menggunakan epoch-last.pth dalam folder Simpan yang sesuai.

2. Eksperimen Celebahq

Kereta : python train_liif.py --config configs/train-celebAHQ/[CONFIG_NAME].yaml .

Tes : python test.py --config configs/test/test-celebAHQ-32-256.yaml --model [MODEL_PATH] (atau test-celebAHQ-64-128.yaml untuk tugas lain). Kami menggunakan epoch-best.pth dalam folder Simpan yang sesuai.