PISE

Pice

Le code de notre Pise CVPR Paper: Synthèse d'image de la personne et édition avec Gan découplé, page de projet, Supp.

Exigence

 conda create -n pise python=3.6
conda install pytorch=1.2 cudatoolkit=10.0 torchvision
pip install scikit-image pillow pandas tqdm dominate natsort 

Données

La préparation des données pour les images et les points clés peut suivre le transfert de pose et la GFLA.

1. Téléchargez un ensemble de données de mode Deep. Vous devrez demander un mot de passe aux responsables de l'ensemble de données. Unzip 'img / img.zip' et mettez le dossier nommé 'img' dans le répertoire './fashion_data'.

2. Téléchargez les annotations de points clés de train / test et la liste des ensembles de données de Google Drive, y compris la mode-paires-Train.csv , la mode-paires-test.csv , la mode-annotation-Train.csv , la mode-annotation-Train.csv, Train. lst , test.lst . Mettez ces fichiers sous le répertoire ./fashion_data .

3. Exécutez le code suivant pour diviser l'ensemble de données de train / test.

    python data/generate_fashion_datasets.py
   

4. Téléchargez des données d'analyse et placez ces fichiers dans le répertoire ./fashion_data . Les données d'analyse pour les tests peuvent être trouvées à partir de Baidu (code FECTCH: ABCD) ou Google Drive. Les données d'analyse pour la formation peuvent être trouvées à partir de Baidu (code FECTCH: ABCD) ou Google Drive. Vous pouvez faire suivre les données avec PGN et réorganiser les étiquettes comme vous en avez besoin.

Former

 python train.py --name=fashion --model=painet --gpu_ids=0

Notez que si vous souhaitez former un modèle de transfert de pose ainsi que le transfert de texture et l'édition de région, commente simplement les lignes 177 et 178, et la ligne 162-176.

Pour la formation en utilisant le multi-GPU, vous pouvez vous référer à un problème dans GFLA

Test

Vous pouvez télécharger directement nos résultats de test à partir de Baidu (Fetch Code: ABCD) ou Google Drive.
Le point de contrôle pré-formé du transfert de pose humain signalé dans notre article peut être trouvé à partir de Baidu (code fetch: ABCD) ou Google Drive et le mettre dans le dossier (-> Résultats -> mode).

Le point de contrôle pré-formé du transfet de texture, l'édition de région, l'interpolation de style utilisée dans notre article peuvent être trouvés à partir de baidu (code fetch: ABCD) ou Google Drive. Notez que le modèle doit être modifié.

Tester par vous-même

 python test.py --name=fashion --model=painet --gpu_ids=0 

Citation

Si vous utilisez ce code, veuillez citer notre papier.

 @InProceedings{Zhang_2021_CVPR,
    author    = {Zhang, Jinsong and Li, Kun and Lai, Yu-Kun and Yang, Jingyu},
    title     = {{PISE}: Person Image Synthesis and Editing With Decoupled GAN},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2021},
    pages     = {7982-7990}
}

Remerciements

Notre code est basé sur GFLA.