CharLM

Pytorch-Character-Aware-신경-언어 모델

이것은 Yoon Kim 이이 논문에서 제안한 특성 인식 신경 언어 모델의 Pytorch 구현입니다.

요구 사항

코드는 Python 3.5.2 및 Pytorch 0.3.1 로 실행되고 테스트됩니다.

초 파라미터

하이퍼 파람	값
LSTM 배치 크기	20
LSTM 시퀀스 길이	35
LSTM 숨겨진 장치	300
에포크	35
초기 학습 속도	1.0
문자 임베딩 치수	15

데모

분할 열차/유효한/테스트 데이터로 모델을 훈련시킵니다.

python train.py

훈련 된 모델은 cache/net.pkl 에 저장됩니다. 모델을 테스트하십시오.

python test.py

테스트 세트의 최상의 결과 : PPL = 127.2163 교차 엔트로피 손실 = 4.8459

승인

이 구현은 아이디어를 빌렸다

https://github.com/jarfo/kchar

https://github.com/cronos123/character-aware-neural-language-models