ganspace

Ganspace: Menemukan kontrol GAN yang dapat ditafsirkan

Gambar 1: Urutan pengeditan gambar yang dilakukan menggunakan kontrol yang ditemukan dengan metode kami, diterapkan pada tiga GAN yang berbeda. Inset putih menentukan pengeditan khusus menggunakan notasi yang dijelaskan dalam Bagian 3.4 ('Edit Lapisan-bijaksana').

Ganspace: Menemukan kontrol GAN yang dapat ditafsirkan
Erik Härkönen ^1,2 , Aaron Hertzmann ² , Jaakko Lehtinen ^1,3 , Sylvain Paris ^2
1 Universitas Aalto, ² Adobe Research, ³ Nvidia
https://arxiv.org/abs/2004.02546

Abstrak: Makalah ini menjelaskan teknik sederhana untuk menganalisis jaringan permusuhan generatif (GANS) dan membuat kontrol yang dapat ditafsirkan untuk sintesis gambar, seperti perubahan sudut pandang, penuaan, pencahayaan, dan waktu hari. Kami mengidentifikasi arah laten penting berdasarkan analisis komponen utama (PCA) yang diterapkan dalam ruang aktivasi. Kemudian, kami menunjukkan bahwa pengeditan yang dapat ditafsirkan dapat didefinisikan berdasarkan aplikasi lapisan-bijaksana dari arah edit ini. Selain itu, kami menunjukkan bahwa Biggan dapat dikendalikan dengan input lapisan bijaksana dengan cara seperti StyleGan. Pengguna dapat mengidentifikasi sejumlah besar kontrol yang dapat ditafsirkan dengan mekanisme ini. Kami menunjukkan hasil pada GAN dari berbagai dataset.

Video: https://youtu.be/jdticda_eai

Pengaturan

Lihat instruksi pengaturan.

Penggunaan

Repositori ini mencakup versi Biggan, StyleGan, dan StyleGan2 yang dimodifikasi untuk mendukung vektor laten per-lapisan.

Eksplorasi model interaktif

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

Visualisasikan komponen utama

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

Opsi

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

Reproduktifitas

Semua angka yang disajikan dalam makalah utama dapat diciptakan kembali menggunakan buku catatan Jupyter yang disertakan:

• Gambar 1: figure_teaser.ipynb
• Gambar 2: figure_pca_illustration.ipynb
• Gambar 3: figure_pca_cleanup.ipynb
• Gambar 4: figure_style_content_sep.ipynb
• Gambar 5: figure_supervised_comp.ipynb
• Gambar 6: figure_biggan_style_resampling.ipynb
• Gambar 7: figure_edit_zoo.ipynb

Masalah yang diketahui

• Penampil interaktif terkadang membeku saat startup di Ubuntu 18.04. Pembekuan diselesaikan dengan mengklik pada jendela terminal dan menekan tombol kontrol. Wawasan apa pun tentang masalah ini akan sangat dihargai!

Mengintegrasikan model baru

1. Buat pembungkus untuk model dalam models/wrappers.py menggunakan antarmuka BaseModel .
2. Tambahkan model ke get_model() di models/wrappers.py .

Mengimpor pos pemeriksaan StyleGan dari TensorFlow

Dimungkinkan untuk mengimpor bobot StyleGan dan StyleGan2 terlatih dari TensorFlow ke Ganspace.

StyleGan

1. Instal TensorFlow: conda install tensorflow-gpu=1.* .
2. Modifikasi metode __init__() , load_model() dalam models/wrappers.py di bawah kelas stylegan.

StyleGan2

1. Ikuti instruksi dalam model/styleGan2/styleGan2-pytorch/readme.md. Pastikan untuk menggunakan garpu di folder khusus ini saat mengonversi bobot untuk alasan kompatibilitas.
2. Simpan pos pemeriksaan yang dikonversi sebagai checkpoints/stylegan2/<dataset>_<resolution>.pt .
3. Modifikasi metode __init__() , download_checkpoint() dalam models/wrappers.py di bawah kelas styleGan2.

Ucapan Terima Kasih

Kami ingin mengucapkan terima kasih:

• Penulis implementasi Pytorch dari Biggan, StyleGan, dan StyleGan2:
  Thomas Wolf, Piotr Bialecki, Thomas Viehmann, dan Kim Seonghyeon.
• Joel Simon dari Artbreeder karena memberi kami model lansekap untuk StyleGan.
  (Sayangnya kami tidak dapat mendistribusikan model ini)
• David Bau dan kolega untuk Proyek Diseksi Gan yang sangat baik.
• Justin Pinkney untuk koleksi Stylegan pretrained yang luar biasa.
• Tuomas Kynkäänniemi karena memberi kami bantuan dengan eksperimen.
• Proyek AALTO Science-IT untuk menyediakan sumber daya komputasi untuk proyek ini.

Kutipan

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

Lisensi

Kode repositori ini dirilis di bawah lisensi Apache 2.0.
Direktori netdissect adalah turunan dari proyek diseksi GAN, dan disediakan di bawah lisensi MIT.
models/biggan dan models/stylegan2 disediakan di bawah lisensi MIT.