PISE

Pise

El código para nuestro documento CVPR pise: síntesis de imágenes de persona y edición con GaN desacoplado, Página del proyecto, Supp.

Requisito

 conda create -n pise python=3.6
conda install pytorch=1.2 cudatoolkit=10.0 torchvision
pip install scikit-image pillow pandas tqdm dominate natsort 

Datos

La preparación de datos para imágenes y puntos clave puede seguir la transferencia de pose y GFLA.

1. Descargue el conjunto de datos de moda profunda. Deberá solicitar una contraseña a los mantenedores de datos. Unzip 'img/img.zip' y coloque la carpeta llamada 'img' en el directorio './fashion_data'.

2. Descargue las anotaciones de puntos clave de trenes/pruebas y la lista de conjuntos de datos de Google Drive, incluyendo Fashion-Pairstrain.csv , Fashion-Pairs-test.csv , Fashion-Annotation-train.csv , Fashion-Annotation-train.csv, Train. LST , Test.lst . Coloque estos archivos en el directorio ./fashion_data .

3. Ejecute el siguiente código para dividir el conjunto de datos de tren/prueba.

    python data/generate_fashion_datasets.py
   

4. Descargue datos de análisis y coloque estos archivos en el directorio ./fashion_data . Los datos de análisis para las pruebas se pueden encontrar en Baidu (código Fectch: ABCD) o Google Drive. Los datos de análisis para el entrenamiento se pueden encontrar en Baidu (código Fectch: ABCD) o Google Drive. Puede obtener los datos seguidos con PGN y reorganizar las etiquetas como lo necesite.

Tren

 python train.py --name=fashion --model=painet --gpu_ids=0

Tenga en cuenta que si desea entrenar un modelo de transferencia de pose, así como la transferencia de textura y la edición de la región, solo comenta la línea 177 y 178, y la línea de incommentos 162-176.

Para el entrenamiento con multi-GPU, puede consultar el problema en GFLA

Prueba

Puede descargar directamente nuestros resultados de prueba de Baidu (código de búsqueda: ABCD) o Google Drive.
El punto de control previamente capacitado de la transferencia de pose humana reportada en nuestro documento se puede encontrar en Baidu (código de búsqueda: ABCD) o Google Drive y ponerla en la carpeta (-> Resultados-> moda).

El punto de control previamente capacitado de la transferencia de textura, la edición de región, la interpolación de estilo utilizada en nuestro documento se puede encontrar en Baidu (código de búsqueda: ABCD) o Google Drive. Tenga en cuenta que el modelo debe cambiarse.

Prueba solo

 python test.py --name=fashion --model=painet --gpu_ids=0 

Citación

Si usa este código, cite nuestro documento.

 @InProceedings{Zhang_2021_CVPR,
    author    = {Zhang, Jinsong and Li, Kun and Lai, Yu-Kun and Yang, Jingyu},
    title     = {{PISE}: Person Image Synthesis and Editing With Decoupled GAN},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2021},
    pages     = {7982-7990}
}

Expresiones de gratitud

Nuestro código se basa en GFLA.