attention networks for classification

شبكات الاهتمام الهرمي لتصنيف المستندات

نعلم أن المستندات لها بنية هرمية ، تجمع الكلمات لتشكيل الجمل والجمل تتحد لتشكيل مستندات. يمكننا محاولة تعلم هذا الهيكل أو يمكننا إدخال هذا الهيكل الهرمي في النموذج ومعرفة ما إذا كان يحسن أداء النماذج الحالية. تستغل هذه الورقة تلك الهيكل لبناء نموذج تصنيف.

هذا هو تنفيذ (قريب) للنموذج في Pytorch.

ملحوظة:

1. أقوم بتحسين كل من نماذج الاهتمام بالكلمة والجملة مع نفس المحسن.
2. الحافز مبطنة مع الأصفار. يمكن تحسين ذلك ، يمكن للمرء فرز Sectecs بطول مماثل معًا ، وتقليل الحمل.
3. لا يدعم Pytorch إخفاء التدرج بعد ، لذا فإن الأصفار المبطنة ستحصل على تدرجات تتدفق خلالها أثناء الترقيب. يمكن للمرء إنشاء قناع ، لكن بما أنني مهتم باستخدام ثنائي الاتجاه GRU ، فليس من الممكن استخدام قناع. لقد رأيت أن الطول المتغير RNN Supoort سيأتي قريبًا إلى Pytorch أيضًا. تحديث: Pytorch يقوم Supoort Masked RNN الآن باستخدام طريقة pack_padded_sequence.

تشرح هذه الصورة من مدونة الانفجار الهيكل تمامًا.

دفتر

يحتوي دفتر الملاحظات على مثال على النموذج المدرب على مجموعة بيانات مراجعة فيلم IMDB. لم أتمكن من الحصول على مجموعة بيانات IMDB الأصلية التي أشار إليها الورقة ، لذلك استخدمت هذه البيانات

البيانات المعالجة مسبقًا متوفرة هنا

كانت أفضل دقة حصلت عليها حوالي 0.35. تحتوي مجموعة البيانات هذه على 84919 عينة فقط و 10 فئات. هنا خسارة التدريب لمجموعة البيانات.