PISE

Pise

O código para o nosso CVPR Paper Pise: Síntese de Imagem Personal e Edição com GaN desacoplado, Página do Projeto, Supp.

Exigência

 conda create -n pise python=3.6
conda install pytorch=1.2 cudatoolkit=10.0 torchvision
pip install scikit-image pillow pandas tqdm dominate natsort 

Dados

A preparação de dados para imagens e pontos -chave pode seguir a transferência de pose e o GFLA.

1. Faça o download do conjunto de dados de moda profunda. Você precisará solicitar uma senha dos mantenedores de dados. Descompacte 'img/img.zip' e coloque a pasta chamada 'img' no diretório './fashion_data'.

2. Faça o download das anotações de pontos de trem/teste e a lista de dados do Google Drive, incluindo moda-par-train.csv , moday-parest.csv , moda-annotation-train.csv , moda-annotation-train.csv, trem. lst , test.lst . Coloque esses arquivos no diretório ./fashion_data .

3. Execute o código a seguir para dividir o conjunto de dados de trem/teste.

    python data/generate_fashion_datasets.py
   

4. Faça o download de dados de análise e coloque esses arquivos no diretório ./fashion_data . A análise de dados para teste pode ser encontrada no Baidu (Código FECTCH: ABCD) ou do Google Drive. A análise de dados para treinamento pode ser encontrada no Baidu (Código FECTCH: ABCD) ou do Google Drive. Você pode seguir os dados com o PGN e reorganizar os rótulos conforme necessário.

Trem

 python train.py --name=fashion --model=painet --gpu_ids=0

Observe que, se você deseja treinar um modelo de transferência de pose, bem como a transferência de textura e a edição da região, apenas comenta a linha 177 e 178 e a linha de descompramentos 162-176.

Para treinamento usando multi-GPUs, você pode se referir à edição no GFLA

Teste

Você pode baixar diretamente nossos resultados de teste no Baidu (Código buscador: ABCD) ou Google Drive.
O ponto de verificação pré-treinado da transferência de pose humana relatado em nosso artigo pode ser encontrado no Baidu (Código de busca: ABCD) ou Google Drive e colocá-lo na pasta (-> Resultados-> Moda).

Ponto de verificação pré-treinado da transfera de textura, edição de região, interpolação de estilo usada em nosso artigo pode ser encontrada no Baidu (Código de busca: ABCD) ou Google Drive. Observe que o modelo precisa ser alterado.

Teste sozinho

 python test.py --name=fashion --model=painet --gpu_ids=0 

Citação

Se você usar este código, cite nosso artigo.

 @InProceedings{Zhang_2021_CVPR,
    author    = {Zhang, Jinsong and Li, Kun and Lai, Yu-Kun and Yang, Jingyu},
    title     = {{PISE}: Person Image Synthesis and Editing With Decoupled GAN},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2021},
    pages     = {7982-7990}
}

Agradecimentos

Nosso código é baseado no GFLA.