pytorch vqvae

Reproduzindo aprendizado neural de representação discreta

Projeto do curso para IFT 6135 - Aprendizagem de representação

Link do relatório do projeto: final_project.pdf

Instruções

1. Para treinar o VQVAE com argumentos padrão, conforme discutido no relatório, execute:

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. Para treinar o pixelcnn antes dos latentes, execute:

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

Conjuntos de dados testados

Imagem

1. Mnist
2. FashionMnist
3. Cifar10
4. Mini-imagena

Vídeo

1. Atari 2600 - Código de boxe (academia OpenAi)

Reconstruções de VQ-VAE

As 4 principais linhas são imagens originais. 4 linhas inferiores são reconstruções.

Mnist

Moda mnist

Amostras de classe condicionais de VQVAE com pixelcnn antes dos latentes

Mnist

Moda mnist

Comentários

1. Percebemos que a implementação da nossa própria função de Pytorch de vetorquantização acelerou o treinamento de VQ-VAE em quase 3x. O código mais lento, mas mais simples, estiver nesse compromisso.
2. Adicionamos alguns testes básicos para as funções de quantização do vetor (com base no pytest ). Para executar esses testes

 py.test . -vv

Autores

1. Rithesh Kumar
2. Tristan Deleu
3. Evan Racah