Главная страница>Связанные с программированием>Питон
  1. ? Обновленная онлайн -демонстрация :. Вот резервная копия.
  2. ? Обновленная онлайн -демонстрация:
  3. Демонстрация Colab для GFPGAN; (Еще одна демонстрация колаба для оригинальной бумажной модели)

Спасибо за ваш интерес к нашей работе. Вы также можете захотеть проверить наши новые обновления о крошечных моделях для аниме-изображений и видео в Real-Esrgan ?

GFPGAN стремится разработать практический алгоритм для восстановления лица в реальном мире .
Он использует богатые и разнообразные априоры, инкапсулированные в предварительном лице Ган ( например , Stylegan2) для восстановления слепого лица.

❓ Часто задаваемые вопросы можно найти в FAQ.MD.

Обновления


Если GFPGAN полезен в ваших фотографиях/проектах, пожалуйста, помогите этому репо или порекомендуйте его друзьям. Спасибо? Другие рекомендуемые проекты:
▶ ️ Реал-эсрган: практическое алгоритм для восстановления общего изображения
▶ ️ Basicsr: набор инструментов для восстановления изображения с открытым исходным кодом
▶ ️ Facexlib: коллекция, которая обеспечивает полезные функции рецидивов лица
▶ ️ HandyView: просмотрщик изображений на основе PYQT5, который удобен для просмотра и сравнения


GFP-GAN: На пути к реальному восстановлению слепого лица с генеративным лицевым предварительным

[Paper] [Project Page] [Демо]
Синьао Ван, Ю Ли, Хонглун Чжан, Ин Шань
Applied Research Center (ARC), Tencent PCG


? Зависимости и установка

Установка

Теперь мы предоставляем чистую версию GFPGAN, которая не требует индивидуальных расширений CUDA.
Если вы хотите использовать оригинальную модель в нашей статье, см. Papermodel.md для установки.

  1. Клон репо

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. Установите зависимые пакеты

     # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

⚡ Быстрый вывод

Мы принимаем версию V1.3 для примера. Больше моделей можно найти здесь.

Скачать предварительно обученные модели: gfpganv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

Вывод!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
 Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

Если вы хотите использовать оригинальную модель в нашей статье, см. Papermodel.md для установки и вывода.

? Модельный зоопарк

Версия Название модели Описание
V1.3 Gfpganv1.3.pth На основе V1.2; более естественные результаты восстановления; Лучшие результаты по очень низкокачественным / качественным входам.
V1.2 Gfpgancleanv1-noce-c2.pth Нет раскраски; Расширения CUDA не требуется. Тренируется с большим количеством данных с предварительной обработкой.
V1 Gfpganv1.pth Бумажная модель с раскралением.

Сравнения в сравнении.md.

Обратите внимание, что v1.3 не всегда лучше, чем v1.2. Вам может потребоваться выбрать различные модели на основе ваших целей и входов.

Версия Сильные стороны Слабые стороны
V1.3 ✓ Природные выходы
✓ Благодарие результатов по очень низкокачественным входам
✓ Работайте над относительно качественными входами
✓ может быть повторно (дважды) реставрации
✗ Не очень острый
✗ Иметь небольшое изменение идентичности
V1.2 ✓ более четкие результаты
✓ С косметикой красоты
✗ Некоторые выходы неестественны

Вы можете найти больше моделей (таких как дискриминаторы) здесь: [Google Drive] или [Tencent Cloud 腾讯微云]

Обучение

Мы предоставляем учебные коды для GFPGAN (используется в нашей статье).
Вы можете улучшить его в соответствии с вашими собственными потребностями.

Советы

  1. Более качественные лица могут улучшить качество восстановления.
  2. Возможно, вам придется выполнить некоторую предварительную обработку, такую ​​как косметика красоты.

Процедуры

(Вы можете попробовать простую версию ( options/train_gfpgan_v1_simple.yml ), которая не требует достопримечательностей компонентов лица.)

  1. Подготовка набора данных: FFHQ

  2. Скачать предварительно обученные модели и другие данные. Поместите их в папку experiments/pretrained_models .

    1. Предварительно обученная модель Stylegan2: Stylegan2_512_cmul1_ffhq_b12g4_scratch_800k.pth
    2. Компонентные местоположения FFHQ: FFHQ_EYE_MOUTH_LANDMARKS_512.pth
    3. Простая модель Arcface: arcface_resnet18.pth
  3. Измените options/train_gfpgan_v1.yml соответственно.

  4. Обучение

python -m torch.distributed.launch -nproc_per_node = 4 -master_port = 22021 gfpgan/train.py options/train_gfpgan_v1.yml -launcher pytorch

Лицензия и подтверждение

GFPGAN выпускается в соответствии с лицензией Apache версии 2.0.

Бибтекс

 @InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

? Контакт

Если у вас есть какие -либо вопросы, пожалуйста, напишите [email protected] или [email protected] .

Расширять
Дополнительная информация