การทำซ้ำการเรียนรู้การเป็นตัวแทนของระบบประสาท
โครงการหลักสูตรสำหรับ IFT 6135 - การเรียนรู้การเป็นตัวแทน
ลิงค์รายงานโครงการ: final_project.pdf
คำแนะนำ
- ในการฝึกอบรม VQVAE ด้วยอาร์กิวเมนต์เริ่มต้นตามที่กล่าวไว้ในรายงานให้ดำเนินการ:
python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae
- ในการฝึกอบรม Pixelcnn ก่อนหน้า Latents ให้ดำเนินการ:
python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior
ชุดข้อมูลที่ทดสอบแล้ว
ภาพ
- MNIST
- แฟชั่น
- CIFAR10
- มินิอิเน็ต
วิดีโอ
- Atari 2600 - รหัสมวย (Openai Gym)
การสร้างใหม่จาก vq-vae
แถว 4 อันดับแรกเป็นภาพต้นฉบับ แถว 4 ด้านล่างเป็นการสร้างใหม่
MNIST

นักเขียนแฟชั่น

ตัวอย่างชั้นเรียนจาก VQVAE กับ Pixelcnn ก่อนหน้า Latents
MNIST

นักเขียนแฟชั่น

ความเห็น
- เราสังเกตเห็นว่าการใช้ฟังก์ชั่น pytorch vector ของเราเองการฝึกอบรมการฝึกอบรมอย่างเร่งด่วนของ VQ-VAE โดยเกือบ 3x รหัสที่ช้ากว่า แต่ง่ายกว่าอยู่ในการกระทำนี้
- เราเพิ่มการทดสอบพื้นฐานบางอย่างสำหรับฟังก์ชั่นการวัดปริมาณเวกเตอร์ (ขึ้นอยู่กับ
pytest ) เพื่อเรียกใช้การทดสอบเหล่านี้
ผู้เขียน
- Rithesh Kumar
- Tristan Deleu
- Evan Racah