pytorch vqvae

Mereproduksi pembelajaran representasi diskrit saraf

Proyek Kursus untuk IFT 6135 - Pembelajaran Representasi

Tautan Laporan Proyek: final_project.pdf

Instruksi

1. Untuk melatih VQVAE dengan argumen default seperti yang dibahas dalam Laporan, Jalankan:

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. Untuk melatih pixelcnn sebelumnya pada laten, jalankan:

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

Dataset diuji

Gambar

1. Mnist
2. FashionMnist
3. CIFAR10
4. Mini-imagenet

Video

1. ATARI 2600 - Kode tinju (gym openai)

Rekonstruksi dari VQ-VAE

4 baris teratas adalah gambar asli. 4 baris bawah adalah rekonstruksi.

Mnist

Fashion Mnist

Sampel Kelas-Kelas dari VQVAE dengan Pixelcnn Sebelum pada Laten

Mnist

Fashion Mnist

Komentar

1. Kami memperhatikan bahwa mengimplementasikan fungsi pytorch vectorquantization kami sendiri dengan mempercepat pelatihan VQ-VAE dengan hampir 3x. Kode yang lebih lambat, tetapi lebih sederhana ada dalam komit ini.
2. Kami menambahkan beberapa tes dasar untuk fungsi kuantisasi vektor (berdasarkan pytest ). Untuk menjalankan tes ini

 py.test . -vv

Penulis

1. Rithesh Kumar
2. Tristan Deleu
3. Evan Racah