หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

Variational autoencoder ใน tensorflow และ pytorch

การใช้งานอ้างอิงสำหรับตัวแปร autoencoder variational ใน tensorflow และ pytorch

ฉันแนะนำเวอร์ชัน Pytorch มันรวมถึงตัวอย่างของตระกูล variational ที่แสดงออกมากขึ้นการไหลแบบอัตโนมัติแบบผกผัน

การอนุมาน Variational ใช้เพื่อให้พอดีกับโมเดลกับภาพตัวเลขที่เขียนด้วยลายมือของ Binarized MNIST เครือข่ายการอนุมาน (encoder) ใช้เพื่อตัดจำหน่ายการอนุมานและแบ่งปันพารามิเตอร์ข้าม Datapoints ความน่าจะเป็นพารามิเตอร์โดยเครือข่ายกำเนิด (ตัวถอดรหัส)

บล็อกโพสต์: https://jaan.io/what-is-variational-autoencoder-vae-tutorial/

การใช้งาน Pytorch

(สภาพแวดล้อมของ Anaconda อยู่ใน environment-jax.yml )

การสุ่มตัวอย่างที่สำคัญใช้ในการประเมินโอกาสเล็กน้อยในชุดข้อมูล Binary MNIST ของ Hugo LaRochelle โอกาสในการทดสอบครั้งสุดท้ายในชุดทดสอบคือ -97.10 NATS เทียบได้กับตัวเลขที่เผยแพร่ 

 $ python train_variational_autoencoder_pytorch.py --variational mean-field --use_gpu --data_dir $DAT --max_iterations 30000 --log_interval 10000
Step 0          Train ELBO estimate: -558.027   Validation ELBO estimate: -384.432      Validation log p(x) estimate: -355.430  Speed: 2.72e+06 examples/s
Step 10000      Train ELBO estimate: -111.323   Validation ELBO estimate: -109.048      Validation log p(x) estimate: -103.746  Speed: 2.64e+04 examples/s
Step 20000      Train ELBO estimate: -103.013   Validation ELBO estimate: -107.655      Validation log p(x) estimate: -101.275  Speed: 2.63e+04 examples/s
Step 29999      Test ELBO estimate: -106.642    Test log p(x) estimate: -100.309
Total time: 2.49 minutes

การใช้การประมาณค่าหลังการแปรปรวนที่แสดงออกมาก -95.33 

 $ python train_variational_autoencoder_pytorch.py --variational flow
step:   0       train elbo: -578.35
step:   0               valid elbo: -407.06     valid log p(x): -367.88
step:   10000   train elbo: -106.63
step:   10000           valid elbo: -110.12     valid log p(x): -104.00
step:   20000   train elbo: -101.51
step:   20000           valid elbo: -105.02     valid log p(x): -99.11
step:   30000   train elbo: -98.70
step:   30000           valid elbo: -103.76     valid log p(x): -97.71

การใช้งาน JAX

การใช้ JAX (Anaconda Environment อยู่ใน environment-jax.yml ) เพื่อรับความเร็ว 3x เหนือ pytorch: 

 $ python train_variational_autoencoder_jax.py --variational mean-field 
Step 0          Train ELBO estimate: -566.059   Validation ELBO estimate: -565.755      Validation log p(x) estimate: -557.914  Speed: 2.56e+11 examples/s
Step 10000      Train ELBO estimate: -98.560    Validation ELBO estimate: -105.725      Validation log p(x) estimate: -98.973   Speed: 7.03e+04 examples/s
Step 20000      Train ELBO estimate: -109.794   Validation ELBO estimate: -105.756      Validation log p(x) estimate: -97.914   Speed: 4.26e+04 examples/s
Step 29999      Test ELBO estimate: -104.867    Test log p(x) estimate: -96.716
Total time: 0.810 minutes

การไหลแบบอัตโนมัติแบบผกผันใน JAX: 

 $ python train_variational_autoencoder_jax.py --variational flow 
Step 0          Train ELBO estimate: -727.404   Validation ELBO estimate: -726.977      Validation log p(x) estimate: -713.389  Speed: 2.56e+11 examples/s
Step 10000      Train ELBO estimate: -100.093   Validation ELBO estimate: -106.985      Validation log p(x) estimate: -99.565   Speed: 2.57e+04 examples/s
Step 20000      Train ELBO estimate: -113.073   Validation ELBO estimate: -108.057      Validation log p(x) estimate: -98.841   Speed: 3.37e+04 examples/s
Step 29999      Test ELBO estimate: -106.803    Test log p(x) estimate: -97.620
Total time: 2.350 minutes

(ความแตกต่างระหว่างฟิลด์เฉลี่ยและการไหลแบบอัตโนมัติแบบผกผันอาจเกิดจากปัจจัยหลายประการหัวหน้าคือการขาดความเชื่อในการดำเนินการบล็อกที่เหลือจะใช้ใน https://arxiv.org/pdf/1606.04934.pdf

สร้าง GIFS

  1. เรียกใช้ python train_variational_autoencoder_tensorflow.py
  2. ติดตั้ง Imagemagick (homebrew สำหรับ Mac: https://formulae.brew.sh/formula/imagemagick หรือช็อคโกแลตใน windows: https://community.chocolate.org/packages/imagemagick.app)
  3. ไปที่ไดเรกทอรีที่บันทึกไฟล์ jpg และเรียกใช้คำสั่ง imageMagick เพื่อสร้าง. gif: convert -delay 20 -loop 0 *.jpg latent-space.gif

TODO (ต้องการความช่วยเหลือ - อย่าลังเลที่จะส่ง PR!)

  • เพิ่มตัวเลือก GPU / TPU หลายตัว
  • เพิ่มการสนับสนุน Jaxtyping สำหรับการใช้งาน Pytorch และ JAX :) สำหรับการตรวจสอบประเภทคงที่รันไทม์ (ใช้ @BeardType Decorators)
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด