Inicio>Relacionado con la programación>Pitón
  1. ? Demostración en línea actualizada :. Aquí está la copia de seguridad.
  2. ? Demostración en línea actualizada :
  3. Demo de Colab para GFPGAN; (Otra demostración de Colab para el modelo de papel original)

Gracias por su interés en nuestro trabajo. ¿También puede consultar nuestras nuevas actualizaciones sobre los modelos pequeños para imágenes y videos de anime en Real-Sesrgan ?

GFPGAN tiene como objetivo desarrollar un algoritmo práctico para la restauración de la cara del mundo real .
Aprovecha los antecedentes ricos y diversos encapsulados en un GaN de la cara previamente prenado (p. Ej ., Stylegan2) para la restauración de la cara ciega.

❓ Las preguntas frecuentes se pueden encontrar en las preguntas frecuentes en las preguntas frecuentes.

Actualizaciones


Si GFPGAN es útil en sus fotos/proyectos, ayude a este repositorio o lo recomiende a sus amigos. ¿Gracias? Otros proyectos recomendados:
▶ ️ Real-ESRGAN: un algoritmo práctico para la restauración de imágenes generales
▶ ️ Basicsr: una caja de herramientas de restauración de imágenes y videos de código abierto
▶ ️ FACEXLIB: una colección que proporciona funciones útiles de relación cara
▶ ️ HandyView: un visor de imágenes basado en PYQT5 que es útil para la vista y la comparación


GFP-Gan: Hacia la restauración de la cara ciega del mundo real con Generativo Facial Prior Prior

[Documento] [Página del proyecto] [demostración]
Xintao Wang, Yu Li, Honglun Zhang, Ying Shan
Centro de investigación aplicada (ARC), Tencent PCG


? Dependencias e instalación

Instalación

Ahora proporcionamos una versión limpia de GFPGan, que no requiere extensiones CUDA personalizadas.
Si desea utilizar el modelo original en nuestro artículo, consulte Papermodel.md para su instalación.

  1. Repositorio

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. Instalar paquetes dependientes

     # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

⚡ Inferencia rápida

Tomamos la versión V1.3 para un ejemplo. Se pueden encontrar más modelos aquí.

Descargue modelos previamente capacitados: GFPGANV1.3.PTH

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

¡Inferencia!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
 Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

Si desea utilizar el modelo original en nuestro artículo, consulte Papermodel.md para la instalación y la inferencia.

? Zoológico modelo

Versión Nombre del modelo Descripción
V1.3 Gfpganv1.3.pth Basado en v1.2; más resultados de restauración natural ; Mejores resultados en entradas de muy baja calidad / alta calidad.
V1.2 Gfpgancleanv1-noce-c2.pth Sin colorización; No se requieren extensiones CUDA. Entrenado con más datos con preprocesamiento.
V1 Gfpganv1.pth El modelo de papel, con colorización.

Las comparaciones están en comparaciones.

Tenga en cuenta que V1.3 no siempre es mejor que V1.2. Es posible que deba seleccionar diferentes modelos basados ​​en su propósito e entradas.

Versión Fortalezas Debilidades
V1.3 ✓ Salidas naturales
✓ Resultados de más bien en entradas de muy baja calidad
✓ Trabajar en entradas de calidad relativamente alta
✓ puede tener restauraciones repetidas (dos veces)
✗ No muy agudo
✗ Tener un ligero cambio en la identidad
V1.2 ✓ Salida más nítida
✓ Con maquillaje de belleza
✗ Algunas salidas no son naturales

Puede encontrar más modelos (como los discriminadores) aquí: [Google Drive] o [Tencent Cloud 腾讯微云]

Capacitación

Proporcionamos los códigos de capacitación para GFPGAN (utilizado en nuestro artículo).
Podrías mejorarlo de acuerdo con tus propias necesidades.

Consejos

  1. Las caras más de alta calidad pueden mejorar la calidad de la restauración.
  2. Es posible que deba realizar algún procesamiento previo, como el maquillaje de belleza.

Procedimientos

(Puede probar una versión simple ( options/train_gfpgan_v1_simple.yml ) que no requiere puntos de referencia de componentes faciales).

  1. Preparación del conjunto de datos: FFHQ

  2. Descargue modelos previamente capacitados y otros datos. Póngalos en la carpeta experiments/pretrained_models .

    1. Modelo StyleGan2 pre-entrenado: stylegan2_512_cmul1_ffhq_b12g4_scratch_800k.pth
    2. Ubicaciones de componentes de FFHQ: ffhq_eye_mouth_landmarks_512.pth
    3. Un modelo simple de Arcface: arcface_resnet18.pth
  3. Modifique las options/train_gfpgan_v1.yml en consecuencia.

  4. Capacitación

python -m torch.distributed.launch --nproc_per_node = 4 --master_port = 22021 gfpgan/trenes.py -opt options/trin_gfpgan_v1.yml - -Launcher pytorch

Licencia y reconocimiento

GFPGAN se lanza bajo la Licencia Apache Versión 2.0.

Bibtex

 @InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

? Contacto

Si tiene alguna pregunta, envíe un correo electrónico [email protected] o [email protected] .

Expandir
Información adicional