pytorch vqvae

Воспроизведение нейронного дискретного представления обучения

Проект курса для IFT 6135 -

Ссылка отчета о проекте: final_project.pdf

Инструкции

1. Чтобы обучить VQVAE с аргументами по умолчанию, как обсуждалось в отчете, выполнить:

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. Чтобы обучить Pixelcnn до задержки, выполнить:

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

Наборы данных протестированы

Изображение

1. Мнист
2. FashionMnist
3. Cifar10
4. Mini-Imagenet

Видео

1. Atari 2600 - Код бокса (Openai Gym)

Реконструкции из VQ-Vae

4 лучших ряда - оригинальные изображения. Нижние 4 ряда являются реконструкциями.

Мнист

Мода Мнист

Образцы классов от VQVAE с Pixelcnn

Мнист

Мода Мнист

Комментарии

1. Мы заметили, что реализация нашей собственной векторной функции Pytorch ускорила обучение VQ-Vae почти в 3 раза. Более медленный, но более простой код находится в этом коммите.
2. Мы добавили некоторые основные тесты для функций квантования вектора (на основе pytest ). Чтобы запустить эти тесты

 py.test . -vv

Авторы

1. Ритеш Кумар
2. Тристан Делеу
3. Эван Рака