pytorch vqvae

神経離散表現学習の再現

IFT 6135のコースプロジェクト - 表現学習

プロジェクトレポートリンク：final_project.pdf

説明書

1. レポートで説明したように、デフォルトの引数でVQVAEをトレーニングするには、実行してください。

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. 潜在性の前にpixelcnnをトレーニングするには、実行してください。

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

テストされたデータセット

画像

1. mnist
2. ファッションマニスト
3. CIFAR10
4. ミニイメージネット

ビデオ

1. Atari 2600 -Boxing（Openai Gym）コード

VQ-Vaeからの再構成

上位4行は元の画像です。下の4行は再構成です。

mnist

ファッションミスト

潜在性の前にpixelcnnを使用したvqvaeからのクラス条件のサンプル

mnist

ファッションミスト

コメント

1. 私たちは、VectorQuantization Pytorch機能を実装して、VQ-Vaeのトレーニングをほぼ3倍実装することに気付きました。このコミットには、遅いが単純なコードがあります。
2. ベクトル量子化関数（ pytestに基づく）の基本的なテストをいくつか追加しました。これらのテストを実行します

 py.test . -vv

著者

1. Rithesh Kumar
2. Tristan Deleu
3. エヴァン・ラッハ