transformer pointer generator

تطبيق تلخيص مجزح مع المحول ومولود المؤشر

عندما أردت الحصول على ملخص من قبل الشبكة العصبية ، جربت العديد من الطرق لإنشاء ملخص مجردة ، لكن النتيجة لم تكن جيدة. عندما سمعت 2018 Cup Cup ، وجدت بعض المعلومات حول هذا الموضوع ، وجذبني حل البطل ، لكنني وجدت بعض المواقع الإلكترونية ، مثل Github Gitlab ، لم أجد الرمز الرسمي ، لذلك قررت تنفيذها.

متطلبات

• Python == 3.x (دعنا ننتقل إلى Python 3 إذا كنت لا تزال تستخدم Python 2)
• TensorFlow == 1.12.0
• TQDM> = 4.28.1
• Jieba> = 0.3x
• sumeval> = 0.2.0

هيكل النموذج

قائم على

يعتمد النموذج الخاص بي على الاهتمام هو كل ما تحتاجه والوصول إلى النقطة: تلخيص مع شبكات المولود للمؤشر

يتغير

• يحتوي نموذج المولود المؤشر على آليتين ، وهما آلية نسخ وآلية التغطية ، لقد وجدت بعض المواد ، فهي تُظهر أن آلية التغطية لا تتناسب مع ملخص قصير ، لذلك لم أستخدم هذه الآلية ، فقط أستخدمها.
• يتمتع نموذج مولد المؤشر بعدم كفاية ، والذي يمكن أن يترك الخسارة قد حصلت على نان ، لقد حاولت بعض الأوقات وأردت إصلاحه ، لكن النتيجة هي أنني لا أستطيع ، أعتقد أن السبب هو عند حساب اللوجينات النهائية ، وسوف يمتد طول المفردات إلى طول OOV ومفردات المفردات ، وستحصل على المزيد من الأصفار. لذلك أقوم بحذف آلية تمديد اللوجينات النهائية ، فقط استخدم آلية deocode من المقالة والمفردات. هناك المزيد من التفاصيل حول هذا الموضوع ، في هذا النموذج ، أنا فقط أستخدم الكلمة أكثر من المفردات ، هذه الفكرة من Bert.

بناء

تمرين

• الخطوة 1. قم بتنزيل مجموعة البيانات ، PWD هي AYN6 ، مجموعة البيانات هي LCSTS عن طريق معالجتها مسبقًا ، لذلك سترى بنية مجموعة بيانات مختلفة تمامًا مع LCSTs في الملف كل سطر مجردة ومقالة ، فهي تقسمها "،" ، إذا كنت تقلق من أن مقدار مجموعة البيانات يختلف بين بلدي و LCSTS ، لا تقلق ، فالأمرات في البيانات هي نفسها مثل LCSTS.
• الخطوة 2. تشغيل الأمر التالي.

 python train.py

تحقق من hparams.py لمعرفة المعلمات الممكنة. على سبيل المثال،

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval

يحسن الكود الخاص بي أيضًا وحدة معالجة الرسومات المتعددة لتدريب هذا النموذج ، إذا كان لديك أكثر من GPU ، فما عليك سوى تشغيل مثل هذا

 python train.py --logdir myLog --batch_size 32 --train myTrain --eval myEval --gpu_nums=myGPUNums

اسم	يكتب	التفاصيل
vocab_size	int	حجم المفردات
يدرب	شارع	قطار مجموعة بيانات DIR
تقييم	شارع	eval dataset dir
امتحان	شارع	بيانات لحساب درجة Rouge
المفردات	شارع	مسار ملف المفردات
batch_size	int	حجم دفعة القطار
eval_batch_size	int	حجم دفعة تقييم
LR	يطفو	معدل التعلم
tradup_steps	int	خطوات الاحماء عن طريق معدل اللف
logdir	شارع	دليل السجل
num_epochs	int	عدد عصر القطار
إيفالدير	شارع	تقييم DIR
d_model	int	البعد الخفي للتشفير/فك الترميز
D_FF	int	البعد الخفي للطبقة العذراء
num_blocks	int	عدد كتل التشفير/فك الترميز
num_heads	int	عدد من رؤساء الاهتمام
Maxlen1	int	الحد الأقصى لطول تسلسل المصدر
Maxlen2	int	الحد الأقصى لطول التسلسل المستهدف
dropout_rate	يطفو	معدل التسرب
beam_size	int	حجم الشعاع لفك الشفر
GPU_NUMS	int	مبلغ GPU ، والذي يمكن أن يسمح عدد GPU لتدريب هذا النموذج ， الافتراضي 1

ملحوظة

لا تقم بتغيير المعلمات المفرطة للمحول ، فلديك حل جيد ، فإنه سيترك الخسارة لا يمكن أن تنخفض! إذا كان لديك حل جيد ، أتمنى أن تخبرني.

تقييم

خسارة

• مولد المحول

* محول

كما ترون ، يمكن أن يترك نموذج مولد المحولات المولد الخسارة انخفض بسرعة كبيرة!

إذا أعجبك ذلك ، واعتقدت أنه مفيد لك ، آمل أن تتمكن من النجوم.