pytorch vqvae

신경 개별 표현 학습을 재현합니다

IFT 6135의 과정 프로젝트 - 대표 학습

프로젝트 보고서 링크 : Final_Project.pdf

지침

1. 보고서에서 논의 된대로 기본 인수로 VQVAE를 훈련시키기 위해 다음을 수행하십시오.

 python vqvae.py --data-folder /tmp/miniimagenet --output-folder models/vqvae

2. 잠재에 대한 이전 Pixelcnn을 훈련 시키려면 다음을 수행하십시오.

 python pixelcnn_prior.py --data-folder /tmp/miniimagenet --model models/vqvae --output-folder models/pixelcnn_prior

데이터 세트 테스트

영상

1. mnist
2. Fashionmnist
3. cifar10
4. 미니 이마 게넷

동영상

1. ATARI 2600- 권투 (오픈 나이 체육관) 코드

VQ-VAE의 재구성

상위 4 개의 행은 원래 이미지입니다. 하단 4 행은 재구성입니다.

mnist

패션 mnist

Pixelcnn과 함께 VQVAE의 클래스 조건 샘플

mnist

패션 mnist

의견

1. 우리는 자체 벡터 Quantization Pytorch 기능을 구현하면 VQ-VAE의 약 3 배까지의 속도가 빨라졌습니다. 느리지 만 더 간단한 코드 가이 커밋에 있습니다.
2. 벡터 양자화 기능에 대한 몇 가지 기본 테스트 ( pytest 기준)를 추가했습니다. 이 테스트를 실행합니다

 py.test . -vv

저자

1. RITHESH KUMAR
2. 트리스탄 델루
3. 에반 라카