R Net

r-net

• R-NET의 Tensorflow 구현 : 자체 일치 네트워크를 통한 기계 판독 이해력. 이 프로젝트는 분대 데이터 세트를 위해 특별히 설계되었습니다.
• 질문이 있으시면 Wenxuan Zhou ([email protected])에 문의하십시오.

요구 사항

다른 소프트웨어 버전을 사용함으로써 발생하는 알려진 문제가 많이 있습니다. 문제를 열거나 이메일을 보내기 전에 버전을 확인하십시오.

일반적인

• 파이썬> = 3.4
• 압축, wget

파이썬 패키지

• Tensorflow-GPU> = 1.5.0
• 스파이> = 2.0.0
• TQDM
• UJSON

용법

데이터를 다운로드하여 전제로 처리하려면 실행하십시오

 # download SQuAD and Glove
sh download.sh
# preprocess the data
python config.py --mode prepro

하이퍼 매개 변수는 config.py에 저장됩니다. 모델을 디버그/훈련/테스트하려면 실행하십시오

python config.py --mode debug/train/test

공식 점수를 얻으려면 달리기

python evaluate-v1.1.py ~ /data/squad/dev-v1.1.json log/answer/answer.json

Tensorboard 로그 파일의 기본 디렉토리는 log/event 입니다

훈련 된 모델은 릴리스를 참조하십시오.

상세한 구현

• 원래 논문은 부가적인주의를 사용하여 많은 메모리를 소비합니다. 이 프로젝트는 주목을 받아 제시된 스케일의 곱셈주의를 채택합니다.
• 이 프로젝트는 반복 신경 네트워크에서 이론적으로 근거가있는 드롭 아웃 적용에 제시된 변형 드롭 아웃을 채택합니다.
• 스택 된 RNN의 저하 문제를 해결하기 위해, 각 층의 출력이 연결되어 최종 출력을 생성합니다.
• 일정 기간 내에 개발 세트 손실이 증가하면 학습 속도가 절반으로 줄어 듭니다.
• 예측 중에 프로젝트는 Match-LSTM 및 Answer Pointer를 사용하여 기계 이해력에 제시된 검색 방법을 채택합니다.
• 효율성 문제를 해결하기 위해이 구현은 버킷 팅 방법 (Xiongyifan에 의해 기여) 및 cudnngru를 사용합니다. 버킷 팅 방법은 속도를 높일 수 있지만 F1 점수를 0.3%줄입니다.

성능

점수

	여자 이름	F1
오리지널 용지	71.1	79.5
이 프로젝트	71.07	79.51

훈련 시간 (s/it)

	토종의	네이티브 + 버킷	CUDNN	CUDNN + 버킷
E5-2640	6.21	3.56	-	-
타이탄 x	2.56	1.31	0.41	0.28

확장

이러한 설정은 점수를 증가시킬 수 있지만 기본적으로 모델에서는 사용되지 않습니다. config.py 에서 이러한 설정을 켜면 이러한 설정을 켜면됩니다.

• 사전 배치 된 장갑 캐릭터 임베딩. Yanghanxy에 의해 기여.
• FastText Embedding. Xiongyifan이 기여했습니다. F1을 1% 증가시킬 수 있습니다 (Xiongyifan에서보고).