หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

Ganspace: ค้นพบการควบคุม GAN ที่ตีความได้

ทีเซอร์

รูปที่ 1: ลำดับของการแก้ไขภาพที่ดำเนินการโดยใช้การควบคุมที่ค้นพบด้วยวิธีการของเรานำไปใช้กับสาม gans ที่แตกต่างกัน ภาพประกอบสีขาวระบุการแก้ไขเฉพาะโดยใช้สัญลักษณ์ที่อธิบายไว้ในส่วน 3.4 ('การแก้ไขเลเยอร์ที่ชาญฉลาด')

Ganspace: ค้นพบการควบคุม GAN ที่ตีความได้
Erik Härkönen 1,2 , Aaron Hertzmann 2 , Jaakko Lehtinen 1,3 , Sylvain Paris 2
1 Aalto University, 2 Adobe Research, 3 Nvidia
https://arxiv.org/abs/2004.02546

บทคัดย่อ: บทความนี้อธิบายเทคนิคง่ายๆในการวิเคราะห์เครือข่ายฝ่ายตรงข้าม (GANS) และสร้างการควบคุมที่ตีความได้สำหรับการสังเคราะห์ภาพเช่นการเปลี่ยนแปลงมุมมองอายุแสงแสงและเวลาของวัน เราระบุทิศทางแฝงที่สำคัญตามการวิเคราะห์ส่วนประกอบหลัก (PCA) ที่ใช้ในพื้นที่เปิดใช้งาน จากนั้นเราแสดงให้เห็นว่าการแก้ไขที่ตีความได้สามารถกำหนดได้ตามแอปพลิเคชันเลเยอร์ที่ชาญฉลาดของทิศทางการแก้ไขเหล่านี้ ยิ่งไปกว่านั้นเราแสดงให้เห็นว่า Biggan สามารถควบคุมได้ด้วยอินพุตที่ชาญฉลาดเลเยอร์ในลักษณะที่มีสไตล์เหมือนกัน ผู้ใช้อาจระบุตัวควบคุมที่ตีความได้จำนวนมากด้วยกลไกเหล่านี้ เราแสดงผลลัพธ์เกี่ยวกับ GANS จากชุดข้อมูลต่าง ๆ

วิดีโอ: https://youtu.be/jdticda_eai

การตั้งค่า

ดูคำแนะนำการตั้งค่า

การใช้งาน

พื้นที่เก็บข้อมูลนี้รวมถึงรุ่นของ Biggan, Stylegan และ Stylegan2 ดัดแปลงเพื่อรองรับเวกเตอร์แฝงต่อชั้น

การสำรวจแบบจำลองเชิงโต้ตอบ 

 # Explore BigGAN-deep husky
python interactive.py --model=BigGAN-512 --class=husky --layer=generator.gen_z -n=1_000_000

# Explore StyleGAN2 ffhq in W space
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w -n=1_000_000 -b=10_000

# Explore StyleGAN2 cars in Z space
python interactive.py --model=StyleGAN2 --class=car --layer=style -n=1_000_000 -b=10_000

 # Apply previously saved edits interactively
python interactive.py --model=StyleGAN2 --class=ffhq --layer=style --use_w --inputs=out/directions

แสดงภาพองค์ประกอบหลัก 

 # Visualize StyleGAN2 ffhq W principal components
python visualize.py --model=StyleGAN2 --class=ffhq --use_w --layer=style -b=10_000

# Create videos of StyleGAN wikiart components (saved to ./out)
python visualize.py --model=StyleGAN --class=wikiart --use_w --layer=g_mapping -b=10_000 --batch --video

ตัวเลือก 

 Command line paramaters:
  --model      one of [ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2]
  --class      class name; leave empty to list options
  --layer      layer at which to perform PCA; leave empty to list options
  --use_w      treat W as the main latent space (StyleGAN / StyleGAN2)
  --inputs     load previously exported edits from directory
  --sigma      number of stdevs to use in visualize.py
  -n           number of PCA samples
  -b           override automatic minibatch size detection
  -c           number of components to keep

การทำซ้ำได้

ตัวเลขทั้งหมดที่นำเสนอในบทความหลักสามารถสร้างขึ้นใหม่ได้โดยใช้สมุดบันทึก Jupyter ที่รวมอยู่ด้วย:

  • รูปที่ 1: figure_teaser.ipynb
  • รูปที่ 2: figure_pca_illustration.ipynb
  • รูปที่ 3: figure_pca_cleanup.ipynb
  • รูปที่ 4: figure_style_content_sep.ipynb
  • รูปที่ 5: figure_supervised_comp.ipynb
  • รูปที่ 6: figure_biggan_style_resampling.ipynb
  • รูปที่ 7: figure_edit_zoo.ipynb

ปัญหาที่รู้จัก

  • ผู้ชมเชิงโต้ตอบบางครั้งค้างเมื่อเริ่มต้นบน Ubuntu 18.04 การแช่แข็งได้รับการแก้ไขโดยคลิกที่หน้าต่างเทอร์มินัลและกดปุ่มควบคุม ข้อมูลเชิงลึกใด ๆ เกี่ยวกับปัญหาจะได้รับการชื่นชมอย่างมาก!

การรวมรุ่นใหม่

  1. สร้าง wrapper สำหรับโมเดลใน models/wrappers.py โดยใช้อินเตอร์เฟส BaseModel
  2. เพิ่มโมเดลลงใน get_model() ใน models/wrappers.py

การนำเข้าจุดตรวจ stylegan จาก tensorflow

มันเป็นไปได้ที่จะนำเข้า stylegan ที่ผ่านการฝึกอบรมและ stylegan2 น้ำหนักจาก tensorflow ไปยัง Ganspace

stylegan

  1. ติดตั้ง TensorFlow: conda install tensorflow-gpu=1.*
  2. แก้ไขวิธีการ __init__() , load_model() ใน models/wrappers.py ภายใต้ Class Stylegan

Stylegan2

  1. ทำตามคำแนะนำในโมเดล/stylegan2/stylegan2-pytorch/readme.md ตรวจสอบให้แน่ใจว่าใช้ส้อมในโฟลเดอร์เฉพาะนี้เมื่อแปลงน้ำหนักด้วยเหตุผลความเข้ากันได้
  2. บันทึกจุดตรวจสอบที่แปลงเป็น checkpoints/stylegan2/<dataset>_<resolution>.pt
  3. แก้ไขวิธีการ __init__() , download_checkpoint() ใน models/wrappers.py ภายใต้ Class Stylegan2

กิตติกรรมประกาศ

เราขอขอบคุณ:

  • ผู้แต่งการใช้งาน Pytorch ของ Biggan, Stylegan และ Stylegan2:
    Thomas Wolf, Piotr Bialecki, Thomas Viehmann และ Kim Seonghyeon
  • Joel Simon จาก Artbreeder เพื่อจัดหารูปแบบภูมิทัศน์สำหรับ Stylegan
    (น่าเสียดายที่เราไม่สามารถแจกจ่ายโมเดลนี้ได้)
  • David Bau และเพื่อนร่วมงานสำหรับโครงการการผ่า GAN ที่ยอดเยี่ยม
  • Justin Pinkney สำหรับคอลเล็กชั่น Stylegan ที่สวยงาม
  • Tuomas Kynkänniemiที่ให้ความช่วยเหลือแก่เราในการทดลอง
  • โครงการ AALTO Science-IT สำหรับการจัดหาทรัพยากรการคำนวณสำหรับโครงการนี้

การอ้างอิง 

 @inproceedings{härkönen2020ganspace,
  title     = {GANSpace: Discovering Interpretable GAN Controls},
  author    = {Erik Härkönen and Aaron Hertzmann and Jaakko Lehtinen and Sylvain Paris},
  booktitle = {Proc. NeurIPS},
  year      = {2020}
}

ใบอนุญาต

รหัสของที่เก็บนี้จะถูกเผยแพร่ภายใต้ใบอนุญาต Apache 2.0
ไดเรกทอรี netdissect เป็นอนุพันธ์ของโครงการแยก GAN และมีให้ภายใต้ใบอนุญาต MIT
models/biggan และ models/stylegan2 มีให้ภายใต้ใบอนุญาต MIT

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด