Sentence VAE
1.0.0
Pytorch는 Bowman et al. 2015. 
참고 :이 구현은 현재 LSTM을 지원하지 않고 RNN과 Gru 's를 지원합니다.
4 명의 시대 후 훈련이 중단되었습니다. 진정한 Elbo는 대략 1 개의 에포크에 대해 최적화되었습니다 (위의 그래프에서 볼 수있는 꿀벌). 결과는 전체 분할에 걸쳐 평균화됩니다.
| 나뉘다 | nll | KL |
|---|---|---|
| 기차 | 99.821 | 7.944 |
| 확인 | 103.220 | 7.346 |
| 시험 | 103.967 | 7.269 |
Z ~ n (0, i)에서 샘플링 한 후 Sentenes가 얻어졌습니다.
씨 . n 자신의 직원과 nnnnn과 함께 n이 아닌 사람
u의 n의 n에서. S. 회사는 논평을 할 가능성이 없습니다
그들이 n에서 n이었을 때 그들은 nann이었다
그러나 회사는 NN과 NN이 끝날 무렵 N이 될 것이라고 말했습니다.
그러나 회사는 그것이 u의 NN이 될 것이라고 말했다. S. 경제
Z ~ n (0, i)에서 두 번 샘플링 한 후, 두 샘플을 보간 한 후 Sentenes가 얻어졌습니다.
회사는 회사를 제외하고 N이 될 것이라고 말했다.
그러나 회사는 회사의 주식을 제외하고는 N이 될 것이라고 말했다.
그러나 회사는 회사의 SNN과 NN이
그러나 지난 2 년 전 회사의 SNN
그러나 지난 2 년 전 회사의 SNN
그러나 지난 몇 년 전 회사가 SNN이
그러나 지난 몇 년 전 공개되지 않았다
그러나 지난 몇 년 전 공개되지 않았다
그러나 지난 몇 주 동안 그들이 N 백만 달러를 모르는 것이라는 진술에서
그러나 지난 몇 주가 끝날 무렵 지불하지 않았다는 성명서에서
교육을 실행하려면 먼저 Penn Tree Bank 데이터를 다운로드하십시오 (Tomas Mikolov의 웹 페이지에서 다운로드). 이 코드는 지정된 데이터 디렉토리에서 최소한 ptb.train.txt 및 ptb.valid.txt 찾을 것으로 예상합니다. dowloaddata.sh 스크립트와 함께 데이터를 사용하지 않을 수도 있습니다.
그런 다음 다음 명령으로 교육을 실행할 수 있습니다.
python3 train.py
다음과 같은 주장이 있습니다.
--data_dir PTB 데이터가 저장된 디렉토리로가는 경로 및 보조 데이터 파일이 저장됩니다.
--create_data 제공되는 경우 새 보조 데이터 파일이 생성됩니다.
--max_sequence_length 긴 문장의 컷오프를 지정합니다.
--min_occ 말이 말단에서 "min_occ"시간보다 적은 단어가 발생하면 토큰으로 대체됩니다.
--test 제공되는 경우 성능도 테스트 세트에서 측정됩니다.
-ep , --epochs
-bs , --batch_size
-lr , --learning_rate
-eb , --embedding_size
-rnn , --rnn_type 두 'rnn'또는 'gru'.
-hs , --hidden_size
-nl , --num_layers
-bi , --bidirectional
-ls , --latent_size
-wd , --word_dropout 단어 드롭 아웃은 디코더의 입력에 적용됩니다. 즉, 단어는 word_dropout 의 확률로 <unk> 로 대체됩니다.
-ed , --embedding_dropout 단어 포함 드롭 아웃이 디코더의 입력에 적용됩니다.
-af , --anneal_function '로지스틱'또는 '선형'.
-k , --k 물류 어닐링 기능의 가파른.
'로지스틱'의 경우 -x0 , --x0 , 이것은 중간 점입니다 (예 : 무게가 0.5 일 때); '선형'의 경우 이것은 분모입니다.
-v , --print_every
-tb , --tensorboard_logging 제공된 경우 훈련 진행 상황이 Tensorboard로 모니터링됩니다.
-log , --logdir directory tensorboard 용 로그 파일 디렉토리.
-bin , --save_model_path 디렉토리 모델 체크 포인트를 저장할 위치.
샘플을 얻고 센 테스 사이의 보간을 위해서는 추론을 사용할 수 있습니다.
python3 inference.py -c $CHECKPOINT -n $NUM_SAMPLES
