pytorch vqvae

Reproducir el aprendizaje de representación discreta neuronal

Proyecto del curso para IFT 6135 - Learning Representation

Enlace del informe del proyecto: final_project.pdf

Instrucciones

1. Para capacitar a los VQVAE con argumentos predeterminados como se discutió en el informe, ejecute:

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. Para entrenar el PixelCnn Prior en los Latentes, ejecute:

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

Conjuntos de datos probados

Imagen

1. Mnista
2. Fashionmnist
3. Cifar10
4. Mini iMagenet

Video

1. Atari 2600 - Código de boxeo (gimnasio de Openai)

Reconstrucciones de VQ-VAE

Las 4 filas principales son imágenes originales. Las 4 filas inferiores son reconstrucciones.

Mnista

Mnist de la moda

Muestras condicionales de clase de vqvae con Pixelcnn Prior en los latentes

Mnista

Mnist de la moda

Comentario

1. Notamos que implementar nuestra propia función de Pytorch VectorCantización aceleró el entrenamiento de VQ-VAE en casi 3 veces. El código más lento pero más simple está en esta confirmación.
2. Agregamos algunas pruebas básicas para las funciones de cuantización vectorial (basadas en pytest ). Para ejecutar estas pruebas

 py.test . -vv

Autores

1. Rithesh Kumar
2. Tristan Deleu
3. Evan Racah