memn2n

Memn2n

Реализация сквозных сетей памяти с помощью интерфейса, подобного Sklearn с использованием TensorFlow. Задачи из набора данных BABL.

Начните

 git clone [email protected]:domluna/memn2n.git

mkdir ./memn2n/data/
cd ./memn2n/data/
wget http://www.thespermwhale.com/jaseweston/babi/tasks_1-20_v1-2.tar.gz
tar xzvf ./tasks_1-20_v1-2.tar.gz

cd ../
python single.py

Примеры

Запуск одной задачи баби

Запуск совместной модели на всех задачах баби

Эти файлы также являются хорошим примером использования.

Требования

• Tensorflow 1.0
• Scikit-learn 0,17,1
• Шесть 1.10.0

Результаты единственной задачи

Для того, чтобы выполнить задачу, она должна соответствовать точности 95%+ тестирования. Измеряется на отдельных задачах на 1K данных.

Пропуск: 1,4,12,15,20

Несколько других задач имеют точность тестирования 80%+.

Стохастический градиент оптимизатор спуска был использован с отожженным графиком обучения, как указано в разделе 4.2 из сетей памяти.

Были использованы следующие параметры:

• Эпохи: 100
• Хмель: 3
• Encedding_size: 20

Задача	Точность обучения	Точность проверки	Точность тестирования
1	1.0	1.0	1.0
2	1.0	0,86	0,83
3	1.0	0,64	0,54
4	1.0	0,99	0,98
5	1.0	0,94	0,87
6	1.0	0,97	0,92
7	1.0	0,89	0,84
8	1.0	0,93	0,86
9	1.0	0,86	0,90
10	1.0	0,80	0,78
11	1.0	0,92	0,84
12	1.0	1.0	1.0
13	0,99	0,94	0,90
14	1.0	0,97	0,93
15	1.0	1.0	1.0
16	0,81	0,47	0,44
17	0,76	0,65	0,52
18	0,97	0,96	0,88
19	0,40	0,17	0,13
20	1.0	1.0	1.0

Совместные результаты обучения

Пропуск: 1,6,9,10,12,13,15,20

Снова использовался стохастический градиент-оптимизатор спуска с отожженным графиком обучения, как указано в разделе 4.2 из сетей сквозной памяти

Были использованы следующие параметры:

• Эпохи: 60
• Хмель: 3
• Encedding_size: 40

Задача	Точность обучения	Точность проверки	Точность тестирования
1	1.0	0,99	0,999
2	1.0	0,84	0,849
3	0,99	0,72	0,715
4	0,96	0,86	0,851
5	1.0	0,92	0,865
6	1.0	0,97	0,964
7	0,96	0,87	0,851
8	0,99	0,89	0,898
9	0,99	0,96	0,96
10	1.0	0,96	0,928
11	1.0	0,98	0,93
12	1.0	0,98	0,982
13	0,99	0,98	0,976
14	1.0	0,81	0,877
15	1.0	1.0	0,983
16	0,64	0,45	0,44
17	0,77	0,64	0,547
18	0,85	0,71	0,586
19	0,24	0,07	0,104
20	1.0	1.0	0,996

Примечания

Результаты единой задачи взяты из 10 повторных трасс единственной модели задачи, выполняющих все 20 задач с различными случайными инициализациями. Производительность модели с самой низкой точностью проверки для каждой задачи показана в таблице выше.

Результаты совместного обучения взяты из 10 повторных трасс совместной модели, выполняющих все задачи. Производительность единственной модели, точность проверки которых сдала наибольшее количество задач (> = 0,95), показана в приведенной выше таблице (mocip_scores_run2.csv). Оценки всех 10 прогонов находятся в результатах/ каталоге.