ص
- تنفيذ TensorFlow لـ R-Net: فهم القراءة مع الشبكات ذاتية المطابقة. تم تصميم هذا المشروع خصيصًا لمجموعة بيانات الفريق.
- إذا كان لديك أي سؤال ، يرجى الاتصال بـ Wenxuan Zhou ([email protected]).
متطلبات
كان هناك الكثير من المشكلات المعروفة الناجمة عن استخدام إصدارات البرامج المختلفة. يرجى التحقق من إصداراتك قبل فتح المشكلات أو إرسال بريد إلكتروني إلي.
عام
- بيثون> = 3.4
- unsip ، wget
حزم بيثون
- TensorFlow-GPU> = 1.5.0
- Spacy> = 2.0.0
- TQDM
- أوجسون
الاستخدام
لتنزيل البيانات والمعالجة المسبقة ، قم بتشغيلها
# download SQuAD and Glove
sh download.sh
# preprocess the data
python config.py --mode prepro
يتم تخزين المعلمات المفرطة في config.py. لتصحيح/تدريب/اختبار النموذج ، قم بتشغيل
python config.py --mode debug/train/test
للحصول على النتيجة الرسمية ، قم بالتشغيل
python evaluate-v1.1.py ~ /data/squad/dev-v1.1.json log/answer/answer.json
الدليل الافتراضي لملف سجل Tensorboard هو log/event
انظر الإصدار للنموذج المدرب.
تنفيذ مفصل
- تستخدم الورقة الأصلية اهتمامًا إضافيًا ، والذي يستهلك الكثير من الذاكرة. يتبنى هذا المشروع اهتمامًا مضاعفًا متضاعفًا المقدم في الانتباه هو كل ما تحتاجه.
- يتبنى هذا المشروع التسرب المتغير المقدم في تطبيق متسلل من الناحية النظرية للتسرب في الشبكات العصبية المتكررة.
- لحل مشكلة التدهور في RNN المكدسة ، يتم تسلسل مخرجات كل طبقة لإنتاج الإخراج النهائي.
- عندما تزداد الخسارة على مجموعة DEV في فترة معينة ، يتم انخفاض معدل التعلم إلى النصف.
- أثناء التنبؤ ، يتبنى المشروع طريقة البحث المقدمة في فهم الماكينة باستخدام مؤشر Match-LSTM ومؤشر الإجابة.
- لمعالجة مشكلة الكفاءة ، يستخدم هذا التنفيذ طريقة دلو (التي ساهمت بها Xiongyifan) و Cudnngru. يمكن أن تسرع طريقة الدبوس في التدريب ، ولكنها ستقلل من درجة F1 بنسبة 0.3 ٪.
أداء
نتيجة
| م | F1 |
|---|
| ورقة أصلية | 71.1 | 79.5 |
| هذا المشروع | 71.07 | 79.51 |
وقت التدريب (S/IT)
| محلي | الأصلي + دلو | كودن | كودن + دلو |
|---|
| E5-2640 | 6.21 | 3.56 | - | - |
| تيتان x | 2.56 | 1.31 | 0.41 | 0.28 |
الامتدادات
قد تزيد هذه الإعدادات من النتيجة ولكن لا تستخدم في النموذج بشكل افتراضي. يمكنك تشغيل هذه الإعدادات في config.py .
- تم تضمين شخصية القفازات المسبق. ساهمت من قبل يانغانكسي.
- تضمين fasttext. ساهمت من قبل Xiongyifan. قد تزيد من F1 بنسبة 1 ٪ (التي أبلغ عنها Xiongyifan).
