CodeFormer скачать - загрузка исходного кода CodeFormer

CodeFormer

Питон

Code

Скачать

На пути к восстановлению слепого лица с помощью Transformer Lookup Codebook (Neurips 2022)

Бумага | Project Page | Видео

Шанчен Чжоу, Кельвин К.К. Чан, Чонги Ли, Чен Измени

S-Lab, Nanyang Технологический университет

Если CodeFormer полезен для ваших изображений или проектов, помогите стимулировать это репо. Спасибо! ?

Обновлять

2023.07.20 : интегрирован? OpenXlab. Попробуйте онлайн демо!
2023.04.19 :? Учебные коды и файлы конфигурации доступны теперь доступны.
2023.04.09 : Добавьте особенности внедрения и окрашивания для обрезанных и выровненных изображений лица.
2023.02.10 : включите dlib в качестве новой опции детектора лица, он создает более точную идентичность лица.
2022.10.05 : поддержка видео ввод --input_path [YOUR_VIDEO.mp4] . Попробуйте, чтобы улучшить свои видео! ?
2022.09.14 : интегрирован? Обнимающееся лицо. Попробуйте онлайн демо!
2022.09.09 : интегрирован для репликации. Попробуйте онлайн демо!
Более

Тодо

Добавить код обучения и файлы конфигурации
Добавить контрольно -пропускной пункт и сценарий для лица
Добавить контрольно -пропускной пункт и сценарий для распределения лица
~~Добавить фоновое улучшение изображения~~

? Попробуйте улучшить старые фотографии / исправление AI-Arts

Восстановление лица

Усиление цвета лица и восстановление

Лицо, внедряющее

Зависимости и установка

Pytorch> = 1,7,1
Cuda> = 10.1
Другие необходимые пакеты в requirements.txt

 # git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop
conda install -c conda-forge dlib (only for face detection or cropping with dlib)

Быстрый вывод

Скачать предварительно обученные модели:

Загрузите модели Facelib и Dlib, предварительно проведенные из [выпусков | Google Drive | OneDrive] к папке weights/facelib . Вы можете вручную загрузить предварительную модели или загрузить, выполнив следующую команду:

 python scripts/download_pretrained_models.py facelib
python scripts/download_pretrained_models.py dlib (only for dlib face detector)

Загрузите предварительные модели Codeformer из [Выпуски | Google Drive | OneDrive] в папку weights/CodeFormer . Вы можете вручную загрузить предварительную модели или загрузить, выполнив следующую команду:

 python scripts/download_pretrained_models.py CodeFormer

Подготовьте данные тестирования:

Вы можете поместить изображения тестирования в папку inputs/TestWhole . Если вы хотите проверить на обрезанных и выровненных лицах, вы можете поместить их в папку inputs/cropped_faces . Вы можете получить обрезанные и выровненные лица, выполнив следующую команду:

 # you may need to install dlib via: conda install -c conda-forge dlib
python scripts/crop_align_face.py -i [input folder] -o [output folder]

Тестирование:

[Примечание] Если вы хотите сравнить CodeFormer в своей статье, пожалуйста, запустите следующую команду, указывающую --has_aligned (для обрезанного и выровненного лица), так как команда для всего изображения будет включать в себя процесс слияния лица, который может повредить текстуру волос на границе, что приводит к несправедливому сравнению.

Веса верности W лежит в [0, 1]. Как правило, меньший W имеет тенденцию приносить более высокий качественный результат, в то время как более крупный W дает более высокий результат. Результаты будут сохранены в папке results .

?? Восстановление лица (обрезанное и выровненное лицо)

 # For cropped and aligned faces (512x512)
python inference_codeformer.py -w 0.5 --has_aligned --input_path [image folder]|[image path]

? ️ Усовершенствование всего изображения

 # For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder]|[image path]

? Усовершенствование видео

 # For Windows/Mac users, please install ffmpeg first
conda install -c conda-forge ffmpeg

 # For video clips
# Video path should end with '.mp4'|'.mov'|'.avi'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path]

? Окрашение лица (обрезанное и выровненное лицо)

 # For cropped and aligned faces (512x512)
# Colorize black and white or faded photo
python inference_colorization.py --input_path [image folder]|[image path]

? Внедрение лица (обрезанное и выровненное лицо)

 # For cropped and aligned faces (512x512)
# Inputs could be masked by white brush using an image editing app (e.g., Photoshop) 
# (check out the examples in inputs/masked_faces)
python inference_inpainting.py --input_path [image folder]|[image path]

Обучение:

Учебные команды можно найти в документах: английский |简体中文.

Цитирование

Если наша работа полезна для вашего исследования, рассмотрите возможность ссылаться на:

 @inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

Лицензия

Этот проект лицензирован по лицензии NTU S-LAB 1.0. Перераспределение и использование должны следовать этой лицензии.

Подтверждение

Этот проект основан на Basicsr. Некоторые коды взяты из выпуска трансформаторов, Yolov5-Face и Facexlib. Мы также принимаем Real-Esrgan для поддержки улучшения фоновых изображений. Спасибо за их потрясающие работы.