ganspace

Ganspace: descobrindo controles interpretáveis de GaN

Figura 1: Sequências de edições de imagem realizadas usando o controle descoberto com nosso método, aplicado a três Gans diferentes. As inserções brancas especificam as edições específicas usando a notação explicada na Seção 3.4 ('edições de camada em camada').

Ganspace: descobrindo controles interpretáveis de GaN
Erik Härkönen ^1,2 , Aaron Hertzmann ² , Jaakko Lehtinen ^1,3 , Sylvain Paris ^2
1 Universidade Aalto, ² Adobe Research, ³ Nvidia
https://arxiv.org/abs/2004.02546

Resumo: Este artigo descreve uma técnica simples para analisar redes adversárias generativas (GANs) e criar controles interpretáveis para a síntese de imagem, como mudança de ponto de vista, envelhecimento, iluminação e hora do dia. Identificamos instruções latentes importantes com base na análise de componentes principais (PCA) aplicada no espaço de ativação. Em seguida, mostramos que as edições interpretáveis podem ser definidas com base na aplicação de camadas dessas direções de edição. Além disso, mostramos que o Biggan pode ser controlado com entradas em camadas de maneira semelhante ao estilo de estilo. Um usuário pode identificar um grande número de controles interpretáveis com esses mecanismos. Demonstramos resultados em GANs de vários conjuntos de dados.

Vídeo: https://youtu.be/jdticda_eai

Configurar

Veja as instruções de configuração.

Uso

Esse repositório inclui versões de Biggan, Stylegan e Stylegan2 modificadas para suportar vetores latentes por camada.

Exploração do modelo interativo

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

Visualize os principais componentes

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

Opções

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

Reprodutibilidade

Todas as figuras apresentadas no papel principal podem ser recriadas usando os notebooks Jupyter incluídos:

• Figura 1: figure_teaser.ipynb
• Figura 2: figure_pca_illustration.ipynb
• Figura 3: figure_pca_cleanup.ipynb
• Figura 4: figure_style_content_sep.ipynb
• Figura 5: figure_supervised_comp.ipynb
• Figura 6: figure_biggan_style_resampling.ipynb
• Figura 7: figure_edit_zoo.ipynb

Questões conhecidas

• O visualizador interativo às vezes congela na inicialização no Ubuntu 18.04. O congelamento é resolvido clicando na janela do terminal e pressionando a tecla de controle. Qualquer visão da questão seria muito apreciada!

Integração de um novo modelo

1. Crie um invólucro para o modelo em models/wrappers.py usando a interface BaseModel .
2. Adicione o modelo para get_model() em models/wrappers.py .

Importando pontos de verificação de estilo de estilo do tensorflow

É possível importar pesos de estilo treinado e stylegan2 do tensorflow para o Ganspace.

Stylegan

1. Instale o TensorFlow: conda install tensorflow-gpu=1.* .
2. Modifique os métodos __init__() , load_model() em models/wrappers.py em Stylegan.

Stylegan2

1. Siga as instruções em modelos/stylegan2/stylegan2-pytorch/readme.md. Certifique -se de usar o garfo nesta pasta específica ao converter os pesos por razões de compatibilidade.
2. Salve o ponto de verificação convertido como checkpoints/stylegan2/<dataset>_<resolution>.pt .
3. Modificar métodos __init__() , download_checkpoint() em models/wrappers.py em classe stylegan2.

Agradecimentos

Gostaríamos de agradecer:

• Os autores das implementações de Pytorch de Biggan, Stylegan e Stylegan2:
  Thomas Wolf, Piotr Bialecki, Thomas Viehmann e Kim Seonghyeon.
• Joel Simon, da Artbreeder, por nos fornecer o modelo de paisagem para Stylegan.
  (Infelizmente não podemos distribuir este modelo)
• David Bau e colegas do excelente projeto de dissecção de GaN.
• Justin Pinkney para a incrível coleção de estilos pré -treinados.
• Tuomas Kynkäänniemi por nos dar uma ajuda com os experimentos.
• O Projeto Aalto Science-It para fornecer recursos computacionais para este projeto.

Citação

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

Licença

O código deste repositório é liberado sob a licença Apache 2.0.
O diretório netdissect é um derivado do projeto de dissecção GaN e é fornecido sob a licença do MIT.
Os models/biggan e models/stylegan2 são fornecidos sob a licença do MIT.