ganspace

ガンスペース：解釈可能なGanコントロールの発見

図1： 3つの異なるGANに適用された方法で発見されたコントロールを使用して実行された画像編集のシーケンス。白い挿入図は、セクション3.4（「レイヤーごとの編集」）で説明されている表記を使用して特定の編集を指定します。

ガンスペース：解釈可能なGanコントロールの発見
^{ErikHärkönen1,2} 、Aaron Hertzmann ² 、Jaakko Lehtinen ^1,3 、Sylvain Paris ^2
1 Aalto University、 ² Adobe Research、 ³ Nvidia
https://arxiv.org/abs/2004.02546

要約：このホワイトペーパーでは、生成的敵対ネットワーク（GAN）を分析し、視点の変化、老化、照明、時刻などの画像合成の解釈可能なコントロールを作成する簡単な手法について説明します。活性化空間に適用される主成分分析（PCA）に基づいて、重要な潜在方向を特定します。次に、これらの編集方向のレイヤーごとのアプリケーションに基づいて、解釈可能な編集が定義できることを示します。さらに、Bigganをスタイルガンのような方法でレイヤーワイズ入力で制御できることを示します。ユーザーは、これらのメカニズムを備えた多数の解釈可能なコントロールを特定する場合があります。さまざまなデータセットのGANの結果を示します。

ビデオ： https：//youtu.be/jdticda_eai

設定

セットアップ手順を参照してください。

使用法

このリポジトリには、Biggan、Stylegan、およびLyedgan2のバージョンが変更され、層ごとの潜在ベクトルをサポートするように変更されています。

インタラクティブモデルの探索

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

主成分を視覚化します

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

オプション

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

再現性

メインペーパーに掲載されているすべての数字は、付属のJupyterノートブックを使用して再作成できます。

• 図1： figure_teaser.ipynb
• 図2： figure_pca_illustration.ipynb
• 図3： figure_pca_cleanup.ipynb
• 図4： figure_style_content_sep.ipynb
• 図5： figure_supervised_comp.ipynb
• 図6： figure_biggan_style_resampling.ipynb
• 図7： figure_edit_zoo.ipynb

既知の問題

• インタラクティブな視聴者は、Ubuntu 18.04の起動時にフリーズすることがあります。フリーズは、端子ウィンドウをクリックしてコントロールキーを押すことで解決されます。この問題についての洞察は大歓迎です！

新しいモデルの統合

1. BaseModelインターフェイスを使用して、 models/wrappers.pyでモデルのラッパーを作成します。
2. models/wrappers.pyのget_model()にモデルを追加します。

TensorflowからStyleGanチェックポイントをインポートします

TensorflowからGanspaceに訓練されたStyleganとStylegan2の重量をインポートすることができます。

スタイルガン

1. Tensorflowのインストール： conda install tensorflow-gpu=1.* 。
2. メソッドを変更します__init__() 、 load_model() in models/wrappers.pyクラスStyleganの下で。

stylegan2

1. モデル/stylegan2/stylegan2-pytorch/readme.mdの指示に従ってください。互換性の理由で重みを変換するときは、この特定のフォルダーのフォークを必ず使用してください。
2. 変換されたチェックポイントをcheckpoints/stylegan2/<dataset>_<resolution>.ptとして保存します。
3. メソッドの変更__init__() 、 download_checkpoint()のmodels/wrappers.pyクラスStylegan2の下。

謝辞

感謝したい：

• Biggan、Stylegan、およびStylegan2のPytorch実装の著者：
  トーマス・ウルフ、ピオトル・ビアラッキ、トーマス・ヴィーマン、キム・ソンヒョン。
• Styleganのランドスケープモデルを提供してくれたArtbreederのJoel Simon。
  （残念ながら、このモデルを配布することはできません）
• David Bauと優れたGan解剖プロジェクトの同僚。
• 素晴らしい事前に守られたスタイルガンコレクションのジャスティンピンクニー。
• Tuomaskynkäänniemiは、実験に手を差し伸べてくれたことです。
• このプロジェクトに計算リソースを提供するためのAalto Science-ITプロジェクト。

引用

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

ライセンス

このリポジトリのコードは、Apache 2.0ライセンスの下でリリースされます。
ディレクトリnetdissectはGAN解剖プロジェクトの派生物であり、MITライセンスの下で提供されています。
ディレクトリmodels/bigganとmodels/stylegan2は、MITライセンスの下で提供されます。