Abstractive Summarization With Transfer Learning

تلخيص جذاب باستخدام BERT كشرف ودلوكر المحول

لقد استخدمت مكتبة لتوليد النص تسمى Texar ، وهي مكتبة جميلة مع الكثير من التجريدات ، وأود أن أقول أنها تتعلم لمشاكل توليد النص.

تتمثل الفكرة الرئيسية وراء هذه البنية في استخدام التعلم النقل من Bert Pert A Masked Language Model ، لقد استبدلت جزء التشفير بمشفر Bert ويتم تدريب Deocder من الخدش.

واحدة من مزايا استخدام شبكات transfomer هي التدريب أسرع بكثير من النماذج القائمة على LSTM حيث نزيل السلوك المتسلسل في نماذج المحولات.

تولد النماذج القائمة على المحولات جمل أكثر صحة ومتماسكة.

لتشغيل النموذج

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-122.zip 
unsip uncased_l-12_h-768_a-12.zip
ضع القصة والملفات الموجزة ضمن مجلد البيانات مع الأسماء التالية.
-TRAIN_STORY.TXT
-TRAIN_SUMM.TXT
-eval_story.txt
-eval_summ.txt
يجب أن تكون كل قصة وملخص في سطر واحد (انظر نص العينة المعطى.)
الخطوة 1:
تشغيل المعالجة المسبقة
Python preprocess.py
هذا ينشئ ملفين tfrecord ضمن مجلد البيانات.
الخطوة 2:
Python Main.py
يمكن أن تكون تكوينات النموذج تغييرات من ملف config.py
الخطوة 3:
الاستدلال
قم بتشغيل الأمر Python Interference.py
يقوم هذا الرمز بتشغيل خادم قارورة
استخدم Postman لإرسال طلب post http: // your_ip_address: 1118/نتائج
مع اثنين من المعلمات القصة ، ملخص