ganspace下载ganspace源代码下载

ganspace

Python

1.0.0

下载

甘斯空间：发现可解释的甘恩控件

预告片

图1：使用使用我们的方法发现的控件执行的图像编辑序列，应用于三种不同的gan。白色插图使用第3.4节中解释的符号（'Layer-Wise-Wise编辑'）指定了特定的编辑。

甘斯空间：发现可解释的甘恩控件
^{ErikHärkönen1,2} ，Aaron Hertzmann ² ，Jaakko Lehtinen ^1,3 ，Sylvain Paris ²
¹ Aalto University， ² Adobe Research， ³ Nvidia
https://arxiv.org/abs/2004.02546
摘要：本文介绍了一种简单的技术，可以分析生成对抗网络（GAN）并为图像合成创建可解释的控件，例如观点的改变，老化，照明和一天中的时间。我们基于在激活空间中应用的主成分分析（PCA）确定重要的潜在方向。然后，我们表明可以根据这些编辑说明的层应用来定义可解释的编辑。此外，我们表明Biggan可以以类似于样式的方式通过层次输入来控制。用户可以通过这些机制确定大量可解释的控件。我们证明了来自各个数据集的gan的结果。
视频： https：//youtu.be/jdticda_eai

设置

请参阅设置说明。

用法

该存储库包括Biggan，stylegan和stylegan2的版本，以支持每层潜在向量。

交互式模型探索

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

可视化主组件

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

选项

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

可重复性

主论文中介绍的所有数字均可使用随附的Jupyter笔记本重新创建：

图1： figure_teaser.ipynb
图2： figure_pca_illustration.ipynb
图3： figure_pca_cleanup.ipynb
图4： figure_style_content_sep.ipynb
图5： figure_supervised_comp.ipynb
图6： figure_biggan_style_resampling.ipynb
图7： figure_edit_zoo.ipynb

已知问题

交互式查看器有时会在Ubuntu 18.04上的启动上冻结。通过单击终端窗口并按控制键来解决冻结。对这个问题的任何洞察力都将不胜感激！

集成新模型

使用BaseModel接口在models/wrappers.py中为模型创建包装器。
将模型添加到models/wrappers.py中的get_model() 。

从TensorFlow导入stylegan检查点

可以将经过训练的stylegan和stylegan2权重从TensorFlow导入到甘斯空间中。

Stylegan

安装TensorFlow： conda install tensorflow-gpu=1.* 。
修改方法__init__() ， models/wrappers.py中的load_model() class stylegan。

stylegan2

遵循型号/stylegan2/stylegan2-pytorch/readme.md中的说明。出于兼容原因，在转换权重时，请确保在此特定文件夹中使用叉子。
将转换的检查点另存为checkpoints/stylegan2/<dataset>_<resolution>.pt 。
修改方法__init__() ，class stylegan2下的models/wrappers.py中的download_checkpoint() 。

致谢

我们要感谢：

Biggan，stylegan和stylegan的Pytorch实现的作者：
托马斯·沃尔夫（Thomas Wolf），皮奥特·比亚莱基（Piotr Bialecki），托马斯·维曼（Thomas Viehmann）和金·宗教（Kim Seonghyeon）。
来自Artbreeder的Joel Simon为我们提供了风景模型。
（不幸的是，我们无法分发此模型）
大卫·鲍（David Bau）及其同事为出色的gan解剖项目。
贾斯汀·平克尼（Justin Pinkney）为真棒的Stylegan系列。
TuomasKynkäänniemi为我们提供了实验的帮助。
AALTO Science-IT项目，用于为该项目提供计算资源。

引用

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}