memn2n

memn2n

Tensorflow를 사용하여 Sklearn-like 인터페이스를 사용하여 엔드 투 엔드 메모리 네트워크 구현. 작업은 BABL 데이터 세트에서 나온 것입니다.

시작하세요

 git clone [email protected]:domluna/memn2n.git

mkdir ./memn2n/data/
cd ./memn2n/data/
wget http://www.thespermwhale.com/jaseweston/babi/tasks_1-20_v1-2.tar.gz
tar xzvf ./tasks_1-20_v1-2.tar.gz

cd ../
python single.py

예

단일 BABI 작업을 실행합니다

모든 BABI 작업에서 공동 모델을 실행합니다

이 파일은 또한 사용의 좋은 예입니다.

요구 사항

• 텐서 플로 1.0
• Scikit-Learn 0.17.1
• 6 1.10.0

단일 작업 결과

작업을 통과하려면 95%+ 테스트 정확도를 충족해야합니다. 1K 데이터의 단일 작업에서 측정되었습니다.

패스 : 1,4,12,15,20

다른 여러 작업에는 80%+ 테스트 정확도가 있습니다.

확률 적 구배 하강 최적화는 엔드 투 엔드 메모리 네트워크 4.2 절에 명시된 어닐링 된 학습 속도 일정과 함께 사용되었습니다.

다음 매개 변수가 사용되었습니다.

• 에포크 : 100
• 홉 : 3
• embedding_size : 20

일	훈련 정확도	검증 정확도	테스트 정확도
1	1.0	1.0	1.0
2	1.0	0.86	0.83
3	1.0	0.64	0.54
4	1.0	0.99	0.98
5	1.0	0.94	0.87
6	1.0	0.97	0.92
7	1.0	0.89	0.84
8	1.0	0.93	0.86
9	1.0	0.86	0.90
10	1.0	0.80	0.78
11	1.0	0.92	0.84
12	1.0	1.0	1.0
13	0.99	0.94	0.90
14	1.0	0.97	0.93
15	1.0	1.0	1.0
16	0.81	0.47	0.44
17	0.76	0.65	0.52
18	0.97	0.96	0.88
19	0.40	0.17	0.13
20	1.0	1.0	1.0

공동 훈련 결과

패스 : 1,6,9,10,12,13,15,20

End-to-End Memory Networks의 섹션 4.2에 명시된 어닐링 된 학습 속도 일정과 함께 Stochastic Gradient 하강 최적화가 다시 사용되었습니다.

다음 매개 변수가 사용되었습니다.

• 에포크 : 60
• 홉 : 3
• embedding_size : 40

일	훈련 정확도	검증 정확도	테스트 정확도
1	1.0	0.99	0.999
2	1.0	0.84	0.849
3	0.99	0.72	0.715
4	0.96	0.86	0.851
5	1.0	0.92	0.865
6	1.0	0.97	0.964
7	0.96	0.87	0.851
8	0.99	0.89	0.898
9	0.99	0.96	0.96
10	1.0	0.96	0.928
11	1.0	0.98	0.93
12	1.0	0.98	0.982
13	0.99	0.98	0.976
14	1.0	0.81	0.877
15	1.0	1.0	0.983
16	0.64	0.45	0.44
17	0.77	0.64	0.547
18	0.85	0.71	0.586
19	0.24	0.07	0.104
20	1.0	1.0	0.996

메모

단일 작업 결과는 단일 작업 모델의 10 개의 반복 트레일에서 나온 것입니다. 20 개의 작업이 서로 다른 임의의 초기화로 모두 발생합니다. 각 작업에 대해 가장 낮은 검증 정확도를 갖는 모델의 성능은 위 표에 나와 있습니다.

공동 훈련 결과는 공동 모델의 10 번 반복 트레일에서 나온 것입니다. 유효성 검사 정확도가 가장 많은 작업 (> = 0.95)을 통과 한 단일 모델의 성능은 위의 표 (conter_scores_run2.csv)에 표시됩니다. 10 번의 실행 모두의 점수는 결과/ 디렉토리에 있습니다.