memn2n

Memn2n

Implementasi jaringan memori end-to-end dengan antarmuka seperti SkLearn menggunakan TensorFlow. Tugas berasal dari dataset BABL.

Mulai

 git clone [email protected]:domluna/memn2n.git

mkdir ./memn2n/data/
cd ./memn2n/data/
wget http://www.thespermwhale.com/jaseweston/babi/tasks_1-20_v1-2.tar.gz
tar xzvf ./tasks_1-20_v1-2.tar.gz

cd ../
python single.py

Contoh

Menjalankan Tugas Babi Tunggal

Menjalankan model bersama pada semua tugas BABI

File -file ini juga merupakan contoh penggunaan yang baik.

Persyaratan

• TensorFlow 1.0
• scikit-learn 0.17.1
• Enam 1.10.0

Hasil tugas tunggal

Agar tugas lulus, ia harus memenuhi akurasi pengujian 95%+. Diukur pada tugas tunggal pada data 1K.

Lulus: 1,4,12,15,20

Beberapa tugas lain memiliki akurasi pengujian 80%+.

Pengoptimal Keturunan Gradien Stochastic digunakan dengan jadwal laju pembelajaran anil seperti yang ditentukan dalam Bagian 4.2 dari jaringan memori ujung ke ujung

Param berikut digunakan:

• Zaman: 100
• Hops: 3
• embedding_size: 20

Tugas	Akurasi pelatihan	Akurasi validasi	Akurasi pengujian
1	1.0	1.0	1.0
2	1.0	0.86	0.83
3	1.0	0.64	0,54
4	1.0	0.99	0.98
5	1.0	0.94	0.87
6	1.0	0.97	0.92
7	1.0	0.89	0.84
8	1.0	0.93	0.86
9	1.0	0.86	0,90
10	1.0	0.80	0.78
11	1.0	0.92	0.84
12	1.0	1.0	1.0
13	0.99	0.94	0,90
14	1.0	0.97	0.93
15	1.0	1.0	1.0
16	0.81	0.47	0.44
17	0.76	0.65	0,52
18	0.97	0.96	0.88
19	0.40	0.17	0.13
20	1.0	1.0	1.0

Hasil Pelatihan Bersama

Lulus: 1,6,9,10,12,13,15,20

Sekali lagi stochastic gradient descent optimizer digunakan dengan jadwal laju pembelajaran anil seperti yang ditentukan dalam Bagian 4.2 dari jaringan memori ujung-ke-ujung

Param berikut digunakan:

• Zaman: 60
• Hops: 3
• embedding_size: 40

Tugas	Akurasi pelatihan	Akurasi validasi	Akurasi pengujian
1	1.0	0.99	0.999
2	1.0	0.84	0.849
3	0.99	0.72	0.715
4	0.96	0.86	0.851
5	1.0	0.92	0.865
6	1.0	0.97	0.964
7	0.96	0.87	0.851
8	0.99	0.89	0.898
9	0.99	0.96	0.96
10	1.0	0.96	0.928
11	1.0	0.98	0.93
12	1.0	0.98	0.982
13	0.99	0.98	0.976
14	1.0	0.81	0.877
15	1.0	1.0	0.983
16	0.64	0.45	0.44
17	0.77	0.64	0,547
18	0.85	0.71	0,586
19	0.24	0,07	0.104
20	1.0	1.0	0.996

Catatan

Hasil tugas tunggal berasal dari 10 jalur berulang dari model tugas tunggal menempati semua 20 tugas dengan inisialisasi acak yang berbeda. Kinerja model dengan akurasi validasi terendah untuk setiap tugas ditunjukkan pada tabel di atas.

Hasil pelatihan gabungan berasal dari 10 jalur berulang dari model gabungan Accross semua tugas. Kinerja model tunggal yang akurasi validasinya melewati tugas terbanyak (> = 0,95) ditunjukkan pada tabel di atas (gabungan_scores_run2.csv). Skor dari semua 10 berjalan terletak di hasil/ direktori.