ganspace

Ganspace: Descubrimiento de controles de GaN interpretables

Figura 1: Secuencias de ediciones de imágenes realizadas utilizando el control descubierto con nuestro método, aplicado a tres Gans diferentes. Las inserciones blancas especifican las ediciones particulares utilizando la notación explicada en la Sección 3.4 ('ediciones de capas').

Ganspace: Descubrimiento de controles de GaN interpretables
Erik Härkönen ^1,2 , Aaron Hertzmann ² , Jaakko Lehtinen ^1,3 , Sylvain Paris ^2
1 Universidad de Aalto, ² Adobe Research, ³ Nvidia
https://arxiv.org/abs/2004.02546

Resumen: Este documento describe una técnica simple para analizar las redes adversas generativas (GAN) y crear controles interpretables para la síntesis de imágenes, como el cambio de punto de vista, el envejecimiento, la iluminación y la hora del día. Identificamos importantes direcciones latentes basadas en el análisis de componentes principales (PCA) aplicado en el espacio de activación. Luego, mostramos que las ediciones interpretables se pueden definir en función de la aplicación en forma de capa de estas direcciones de edición. Además, mostramos que Biggan se puede controlar con entradas en forma de capa de manera similar a Stylegan. Un usuario puede identificar una gran cantidad de controles interpretables con estos mecanismos. Demostramos resultados en Gans de varios conjuntos de datos.

Video: https://youtu.be/jdticda_eai

Configuración

Vea las instrucciones de configuración.

Uso

Este repositorio incluye versiones de Biggan, Stylegan y Stylegan2 modificados para admitir vectores latentes por capa.

Exploración del modelo interactivo

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

Visualizar componentes principales

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

Opción

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

Reproducibilidad

Todas las figuras presentadas en el documento principal se pueden recrear utilizando los cuadernos Jupyter incluidos:

• Figura 1: figure_teaser.ipynb
• Figura 2: figure_pca_illustration.ipynb
• Figura 3: figure_pca_cleanup.ipynb
• Figura 4: figure_style_content_sep.ipynb
• Figura 5: figure_supervised_comp.ipynb
• Figura 6: figure_biggan_style_resampling.ipynb
• Figura 7: figure_edit_zoo.ipynb

Problemas conocidos

• El espectador interactivo a veces se congela al inicio en Ubuntu 18.04. El congelamiento se resuelve haciendo clic en la ventana del terminal y presionando la tecla de control. ¡Cualquier idea del problema sería muy apreciada!

Integrando un nuevo modelo

1. Cree un envoltorio para el modelo en models/wrappers.py usando la interfaz BaseModel .
2. Agregue el modelo a get_model() en models/wrappers.py .

Importar puntos de control de Stylegan desde TensorFlow

Es posible importar pesas capacitadas de Stylegan y Stylegan2 desde TensorFlow en Ganspace.

Estilado

1. Instale TensorFlow: conda install tensorflow-gpu=1.* .
2. Modificar métodos __init__() , load_model() en models/wrappers.py en class stylegan.

Stylegan2

1. Siga las instrucciones en modelos/stylegan2/stylegan2-pytorch/readme.md. Asegúrese de usar la horquilla en esta carpeta específica al convertir los pesos por razones de compatibilidad.
2. Guarde el punto de control convertido como checkpoints/stylegan2/<dataset>_<resolution>.pt .
3. Modificar métodos __init__() , download_checkpoint() en models/wrappers.py en class stylegan2.

Expresiones de gratitud

Nos gustaría agradecer:

• Los autores de las implementaciones de Pytorch de Biggan, Stylegan y Stylegan2:
  Thomas Wolf, Piotr Bialecki, Thomas Viehmann y Kim Seonghyeon.
• Joel Simon de Artbreeder por proporcionarnos el modelo de paisaje para Stylegan.
  (Desafortunadamente no podemos distribuir este modelo)
• David Bau y sus colegas del excelente proyecto de disección de GaN.
• Justin Pinkney para la increíble colección Stylegan Pretraned.
• Tuomas Kynkäänniemi por darnos una mano con los experimentos.
• El proyecto Aalto Science-IT para proporcionar recursos computacionales para este proyecto.

Citación

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

Licencia

El código de este repositorio se publica bajo la licencia Apache 2.0.
El directorio netdissect es un derivado del proyecto de disección de GaN, y se proporciona bajo la licencia MIT.
Los models/biggan y models/stylegan2 se proporcionan bajo la licencia MIT.