หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การสรุปบทคัดย่อโดยใช้ Bert เป็นตัวเข้ารหัสและตัวถอดรหัสหม้อแปลง

ฉันใช้ไลบรารีการสร้างข้อความที่เรียกว่า Texar ซึ่งเป็นห้องสมุดที่สวยงามที่มีนามธรรมมากมายฉันจะบอกว่ามันเป็น Scikit เรียนรู้สำหรับปัญหาการสร้างข้อความ

แนวคิดหลักที่อยู่เบื้องหลังสถาปัตยกรรมนี้คือการใช้การเรียนรู้การถ่ายโอนจากแบบจำลองภาษาที่สวมหน้ากากฉันได้แทนที่ส่วนของตัวเข้ารหัสด้วย Bert Encoder และ Deocder ได้รับการฝึกฝนมาจากรอยขีดข่วน

หนึ่งในข้อดีของการใช้เครือข่าย transfomer คือการฝึกอบรมนั้นเร็วกว่าแบบจำลองที่ใช้ LSTM มากในขณะที่เรากำจัดพฤติกรรมตามลำดับในโมเดลหม้อแปลง

โมเดลที่ใช้หม้อแปลงสร้างประโยคที่ถูกต้องและสอดคล้องกันมากขึ้น

เพื่อเรียกใช้โมเดล

 wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_l-12_h-768_a-12.zip 
เปิดซิป uncased_l-12_h-768_a-12.zip

วางเรื่องราวและไฟล์สรุปภายใต้โฟลเดอร์ Data ด้วยชื่อต่อไปนี้
-train_story.txt
-train_summ.txt
-eval_story.txt
-eval_summ.txt
แต่ละเรื่องและบทสรุปจะต้องอยู่ในบรรทัดเดียว (ดูข้อความตัวอย่างที่กำหนด)


ขั้นตอนที่ 1:
เรียกใช้การประมวลผลล่วงหน้า
Python preprocess.py


สิ่งนี้สร้างไฟล์ TFRECORD สองไฟล์ภายใต้โฟลเดอร์ DATA


ขั้นตอนที่ 2:
Python Main.py


การกำหนดค่าสำหรับรุ่นสามารถเปลี่ยนแปลงได้จาก config.py file


ขั้นตอนที่ 3:
การอนุมาน
เรียกใช้คำสั่ง python การอนุมาน.py
รหัสนี้เรียกใช้เซิร์ฟเวอร์ขวด
ใช้บุรุษไปรษณีย์เพื่อส่งคำขอโพสต์ @http: // your_ip_address: 1118/ผลลัพธ์
มีเรื่องราวพารามิเตอร์สองรูปแบบสรุป
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด