ganspace下載ganspace源代碼下載

ganspace

Python

1.0.0

下載

甘斯空間：發現可解釋的甘恩控件

預告片

圖1：使用使用我們的方法發現的控件執行的圖像編輯序列，應用於三種不同的gan。白色插圖使用第3.4節中解釋的符號（'Layer-Wise-Wise編輯'）指定了特定的編輯。

甘斯空間：發現可解釋的甘恩控件
^{ErikHärkönen1,2} ，Aaron Hertzmann ² ，Jaakko Lehtinen ^1,3 ，Sylvain Paris ²
¹ Aalto University， ² Adobe Research， ³ Nvidia
https://arxiv.org/abs/2004.02546
摘要：本文介紹了一種簡單的技術，可以分析生成對抗網絡（GAN）並為圖像合成創建可解釋的控件，例如觀點的改變，老化，照明和一天中的時間。我們基於在激活空間中應用的主成分分析（PCA）確定重要的潛在方向。然後，我們表明可以根據這些編輯說明的層應用來定義可解釋的編輯。此外，我們表明Biggan可以以類似於樣式的方式通過層次輸入來控制。用戶可以通過這些機制確定大量可解釋的控件。我們證明了來自各個數據集的gan的結果。
視頻： https：//youtu.be/jdticda_eai

設定

請參閱設置說明。

用法

該存儲庫包括Biggan，stylegan和stylegan2的版本，以支持每層潛在向量。

交互式模型探索

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

可視化主組件

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

選項

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

可重複性

主論文中介紹的所有數字均可使用隨附的Jupyter筆記本重新創建：

圖1： figure_teaser.ipynb
圖2： figure_pca_illustration.ipynb
圖3： figure_pca_cleanup.ipynb
圖4： figure_style_content_sep.ipynb
圖5： figure_supervised_comp.ipynb
圖6： figure_biggan_style_resampling.ipynb
圖7： figure_edit_zoo.ipynb

已知問題

交互式查看器有時會在Ubuntu 18.04上的啟動上凍結。通過單擊終端窗口並按控制鍵來解決凍結。對這個問題的任何洞察力都將不勝感激！

集成新模型

使用BaseModel接口在models/wrappers.py中為模型創建包裝器。
將模型添加到models/wrappers.py中的get_model() 。

從TensorFlow導入stylegan檢查點

可以將經過訓練的stylegan和stylegan2權重從TensorFlow導入到甘斯空間中。

Stylegan

安裝TensorFlow： conda install tensorflow-gpu=1.* 。
修改方法__init__() ， models/wrappers.py中的load_model() class stylegan。

stylegan2

遵循型號/stylegan2/stylegan2-pytorch/readme.md中的說明。出於兼容原因，在轉換權重時，請確保在此特定文件夾中使用叉子。
將轉換的檢查點另存為checkpoints/stylegan2/<dataset>_<resolution>.pt 。
修改方法__init__() ，class stylegan2下的models/wrappers.py中的download_checkpoint() 。

致謝

我們要感謝：

Biggan，stylegan和stylegan的Pytorch實現的作者：
托馬斯·沃爾夫（Thomas Wolf），皮奧特·比亞萊基（Piotr Bialecki），托馬斯·維曼（Thomas Viehmann）和金·宗教（Kim Seonghyeon）。
來自Artbreeder的Joel Simon為我們提供了風景模型。
（不幸的是，我們無法分發此模型）
大衛·鮑（David Bau）及其同事為出色的gan解剖項目。
賈斯汀·平克尼（Justin Pinkney）為真棒的Stylegan系列。
TuomasKynkäänniemi為我們提供了實驗的幫助。
AALTO Science-IT項目，用於為該項目提供計算資源。

引用

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}