ganspace

Ganspace: Découvrir les contrôles GAn interprétables

Figure 1: Des séquences de modifications d'image effectuées à l'aide du contrôle découvert avec notre méthode, appliquée à trois Gans différents. Les encarts blancs spécifient les modifications particulières en utilisant la notation expliquée dans la section 3.4 («modifications par couche»).

Ganspace: Découvrir les contrôles GAn interprétables
Erik Härkönen ^1,2 , Aaron Hertzmann ² , Jaakko Lehtinen ^1,3 , Sylvain Paris ^2
1 Université Aalto, ² Adobe Research, ³ Nvidia
https://arxiv.org/abs/2004.02546

Résumé: Cet article décrit une technique simple pour analyser les réseaux adversaires génératifs (GAN) et créer des contrôles interprétables pour la synthèse d'image, tels que le changement de point de vue, le vieillissement, l'éclairage et l'heure de la journée. Nous identifions des directions latentes importantes basées sur l'analyse des composants principaux (ACP) appliquée dans l'espace d'activation. Ensuite, nous montrons que les modifications interprétables peuvent être définies en fonction de l'application par couche de ces instructions d'édition. De plus, nous montrons que Biggan peut être contrôlé avec des entrées par calque d'une manière semblable à un style. Un utilisateur peut identifier un grand nombre de contrôles interprétables avec ces mécanismes. Nous démontrons des résultats sur les Gans à partir de divers ensembles de données.

Vidéo: https://youtu.be/jdticda_eai

Installation

Voir les instructions de configuration.

Usage

Ce référentiel comprend des versions de Biggan, Stylegan et Stylegan2 modifiées pour prendre en charge les vecteurs latents par couche.

Exploration du modèle interactif

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

Visualiser les principaux composants

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

Options

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

Reproductibilité

Tous les chiffres présentés dans le journal principal peuvent être recréés à l'aide des cahiers de jupyter inclus:

• Figure 1: figure_teaser.ipynb
• Figure 2: figure_pca_illustration.ipynb
• Figure 3: figure_pca_cleanup.ipynb
• Figure 4: figure_style_content_sep.ipynb
• Figure 5: figure_supervised_comp.ipynb
• Figure 6: figure_biggan_style_resampling.ipynb
• Figure 7: figure_edit_zoo.ipynb

Problèmes connus

• Le spectateur interactif se fige parfois au démarrage sur Ubuntu 18.04. Le gel est résolu en cliquant sur la fenêtre du terminal et en appuyant sur la touche de commande. Tout aperçu du problème serait grandement apprécié!

Intégration d'un nouveau modèle

1. Créez un wrapper pour le modèle dans models/wrappers.py à l'aide de l'interface BaseModel .
2. Ajoutez le modèle à get_model() dans models/wrappers.py .

Points de contrôle d'importation de Stylegan à partir de TensorFlow

Il est possible d'importer des poids StyleGan et Stylegan2 de TensorFlow dans Ganspace.

Stylegan

1. Installez TensorFlow: conda install tensorflow-gpu=1.* .
2. Modifier les méthodes __init__() , load_model() dans models/wrappers.py sous la classe Stylegan.

Stylegan2

1. Suivez les instructions dans Models / Stylegan2 / Stylegan2-Pytorch / Readme.md. Assurez-vous d'utiliser la fourche dans ce dossier spécifique lors de la conversion des poids pour des raisons de compatibilité.
2. Enregistrez le point de contrôle converti en tant que checkpoints/stylegan2/<dataset>_<resolution>.pt .
3. Modifier les méthodes __init__() , download_checkpoint() dans models/wrappers.py sous la classe Stylegan2.

Remerciements

Nous tenons à remercier:

• Les auteurs des implémentations Pytorch de Biggan, Stylegan et Stylegan2:
  Thomas Wolf, Piotr Bialecki, Thomas Viehmann et Kim Seonghyeon.
• Joel Simon d'Artbreeder pour nous avoir fourni le modèle de paysage pour Stylegan.
  (malheureusement, nous ne pouvons pas distribuer ce modèle)
• David Bau et ses collègues pour l'excellent projet de dissection de Gan.
• Justin Pinkney pour la superbe collection de style prétrainée.
• Tuomas Kynkäänniemi pour nous avoir donné un coup de main avec les expériences.
• Le projet Aalto Science-It pour fournir des ressources informatiques pour ce projet.

Citation

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

Licence

Le code de ce référentiel est publié sous la licence Apache 2.0.
Le répertoire netdissect est un dérivé du projet de dissection GAN et est fourni sous la licence du MIT.
Les models/biggan et models/stylegan2 sont fournis sous la licence MIT.