Unduh CodeFormer - Unduh Kode Sumber CodeFormer

CodeFormer

ular piton

Code

Unduh

Menuju restorasi wajah buta yang kuat dengan transformator pencarian codebook (Neurips 2022)

Kertas | Halaman Proyek | Video

Shangchen Zhou, Kelvin CK Chan, Chongyi LI, Chen Change Loy

S-Lab, Universitas Teknologi Nanyang

Jika Codeformer bermanfaat untuk gambar atau proyek Anda, tolong bantu membintangi repo ini. Terima kasih! ?

Memperbarui

2023.07.20 : Terintegrasi ke? OpenXlab. Cobalah demo online!
2023.04.19 :? Kode pelatihan dan file konfigurasi tersedia publik sekarang.
2023.04.09 : Tambahkan fitur inpainting dan pewarnaan untuk gambar wajah yang dipotong dan selaras.
2023.02.10 : Sertakan dlib sebagai opsi detektor wajah baru, ia menghasilkan identitas wajah yang lebih akurat.
2022.10.05 : Dukungan input video --input_path [YOUR_VIDEO.mp4] . Cobalah untuk meningkatkan video Anda! ?
2022.09.14 : Terintegrasi ke? Wajah memeluk. Cobalah demo online!
2022.09.09 : Terpadu untuk ditiru. Cobalah demo online!
Lagi

Todo

Tambahkan kode pelatihan dan file konfigurasi
Tambahkan pos pemeriksaan dan skrip untuk face inpainting
Tambahkan pos pemeriksaan dan skrip untuk pewarnaan wajah
~~Tambahkan peningkatan gambar latar belakang~~

? Coba tingkatkan foto lama / perbaiki ai-arts

Pemulihan wajah

Peningkatan dan pemulihan warna wajah

Menghadapi inpainting

Ketergantungan dan instalasi

Pytorch> = 1.7.1
CUDA> = 10.1
Paket lain yang diperlukan dalam requirements.txt

 # git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop
conda install -c conda-forge dlib (only for face detection or cropping with dlib)

Inferensi cepat

Unduh model pra-terlatih:

Unduh model pretrained facelib dan dlib dari [rilis | Google Drive | OneDrive] ke folder weights/facelib . Anda dapat mengunduh model pretrained secara manual atau mengunduh dengan menjalankan perintah berikut:

 python scripts/download_pretrained_models.py facelib
python scripts/download_pretrained_models.py dlib (only for dlib face detector)

Unduh model pretrained codeformer dari [rilis | Google Drive | OneDrive] ke folder weights/CodeFormer . Anda dapat mengunduh model pretrained secara manual atau mengunduh dengan menjalankan perintah berikut:

 python scripts/download_pretrained_models.py CodeFormer

Siapkan data pengujian:

Anda dapat meletakkan gambar pengujian di folder inputs/TestWhole . Jika Anda ingin menguji wajah yang dipotong dan selaras, Anda dapat memasukkannya ke dalam folder inputs/cropped_faces . Anda bisa mendapatkan wajah yang dipotong dan selaras dengan menjalankan perintah berikut:

 # you may need to install dlib via: conda install -c conda-forge dlib
python scripts/crop_align_face.py -i [input folder] -o [output folder]

Pengujian:

[Catatan] Jika Anda ingin membandingkan Codeformer di koran Anda, silakan jalankan perintah berikut yang menunjukkan --has_aligned (untuk wajah yang dipotong dan diselaraskan), karena perintah untuk seluruh gambar akan melibatkan proses fusi latar belakang wajah yang dapat merusak tekstur rambut pada batas, yang mengarah ke perbandingan yang tidak adil.

Bobot kesetiaan yang ada di [0, 1]. Secara umum, W yang lebih kecil cenderung menghasilkan hasil berkualitas lebih tinggi, sementara W lebih besar menghasilkan hasil kesetiaan yang lebih tinggi. Hasilnya akan disimpan di folder results .

?? Pemulihan wajah (wajah yang dipotong dan disejajarkan)

 # For cropped and aligned faces (512x512)
python inference_codeformer.py -w 0.5 --has_aligned --input_path [image folder]|[image path]

? ️ Peningkatan seluruh gambar

 # For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder]|[image path]

? Peningkatan video

 # For Windows/Mac users, please install ffmpeg first
conda install -c conda-forge ffmpeg

 # For video clips
# Video path should end with '.mp4'|'.mov'|'.avi'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path]

? Wajah pewarnaan (wajah yang dipotong dan disejajarkan)

 # For cropped and aligned faces (512x512)
# Colorize black and white or faded photo
python inference_colorization.py --input_path [image folder]|[image path]

? Wajah Inpainting (wajah yang dipotong dan disejajarkan)

 # For cropped and aligned faces (512x512)
# Inputs could be masked by white brush using an image editing app (e.g., Photoshop) 
# (check out the examples in inputs/masked_faces)
python inference_inpainting.py --input_path [image folder]|[image path]

Pelatihan:

Perintah pelatihan dapat ditemukan dalam dokumen: Bahasa Inggris |简体中文.

Kutipan

Jika pekerjaan kami berguna untuk penelitian Anda, harap pertimbangkan mengutip:

 @inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

Lisensi

Proyek ini dilisensikan di bawah NTU S-Lab License 1.0. Redistribusi dan penggunaan harus mengikuti lisensi ini.

Pengakuan

Proyek ini didasarkan pada dasar -dasar. Beberapa kode dibawa dari pelepasan transformator, yolov5-face, dan facexlib. Kami juga mengadopsi real-esrgan untuk mendukung peningkatan gambar latar belakang. Terima kasih atas pekerjaan luar biasa mereka.