CodeFormer
Code
Papel | Página do projeto | Vídeo
Shangchen Zhou, Kelvin CK Chan, Chongyi Li, Chen Mudar Loy
S-Lab, Universidade Tecnológica Nanyang
Se o CodeFormer for útil para suas imagens ou projetos, ajude a estrelar este repositório. Obrigado! ?
dlib como uma nova opção de detector de rosto, ele produz identidade de face mais precisa.--input_path [YOUR_VIDEO.mp4] . Experimente para aprimorar seus vídeos! ?
requirements.txt # git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer
# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer
# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop
conda install -c conda-forge dlib (only for face detection or cropping with dlib)
Faça o download dos modelos Facelib e DLIB pré -tenhados de [Lançamentos | Google Drive | OneDrive] para a pasta de weights/facelib . Você pode fazer o download manualmente dos modelos pré -tenhados ou baixar executando o seguinte comando:
python scripts/download_pretrained_models.py facelib
python scripts/download_pretrained_models.py dlib (only for dlib face detector)
Faça o download dos modelos CodeFormer pré -tenhados de [Releases | Google Drive | OneDrive] para a pasta weights/CodeFormer . Você pode fazer o download manualmente dos modelos pré -tenhados ou baixar executando o seguinte comando:
python scripts/download_pretrained_models.py CodeFormer
Você pode colocar as imagens de teste na pasta inputs/TestWhole . Se você deseja testar em faces cortadas e alinhadas, pode colocá -las na pasta inputs/cropped_faces . Você pode obter os rostos cortados e alinhados executando o seguinte comando:
# you may need to install dlib via: conda install -c conda-forge dlib
python scripts/crop_align_face.py -i [input folder] -o [output folder]
[Nota] Se você deseja comparar o CodeFormer em seu artigo, execute o seguinte comando indicando --has_aligned (para face cortada e alinhada), pois o comando para toda a imagem envolverá um processo de fusão de background que pode danificar a textura do cabelo no limite, o que leva à comparação injusta.
O peso da fidelidade W coloca em [0, 1]. Geralmente, o W menor tende a produzir um resultado de alta qualidade, enquanto o W maior produz um resultado de maior fidelidade. Os resultados serão salvos na pasta de results .
? Restauração do rosto (rosto cortado e alinhado)
# For cropped and aligned faces (512x512)
python inference_codeformer.py -w 0.5 --has_aligned --input_path [image folder]|[image path]
? Aste aprimoramento da imagem inteira
# For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder]|[image path]
? Aprimoramento de vídeo
# For Windows/Mac users, please install ffmpeg first
conda install -c conda-forge ffmpeg
# For video clips
# Video path should end with '.mp4'|'.mov'|'.avi'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path]
? Colorização do rosto (rosto cortado e alinhado)
# For cropped and aligned faces (512x512)
# Colorize black and white or faded photo
python inference_colorization.py --input_path [image folder]|[image path]
? Rosto de pintenamento (rosto cortado e alinhado)
# For cropped and aligned faces (512x512)
# Inputs could be masked by white brush using an image editing app (e.g., Photoshop)
# (check out the examples in inputs/masked_faces)
python inference_inpainting.py --input_path [image folder]|[image path]
Os comandos de treinamento podem ser encontrados nos documentos: inglês |简体中文.
Se nosso trabalho for útil para sua pesquisa, considere citar:
@inproceedings{zhou2022codeformer,
author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
booktitle = {NeurIPS},
year = {2022}
}
Este projeto é licenciado sob a NTU S-Lab License 1.0. A redistribuição e o uso devem seguir esta licença.
Este projeto é baseado no BASICSR. Alguns códigos são trazidos do desencadeio de transformadores, Yolov5-Face e FaceXlib. Também adotamos o Esrgan Real para apoiar o aprimoramento da imagem em segundo plano. Obrigado por seus trabalhos incríveis.
Se você tiver alguma dúvida, sinta -se à vontade para me alcançar em [email protected] .
