attention networks for classification

เครือข่ายความสนใจแบบลำดับชั้นสำหรับการจำแนกเอกสาร

เรารู้ว่าเอกสารมีโครงสร้างแบบลำดับชั้นคำรวมกันเป็นรูปแบบประโยคและประโยครวมเข้ากับเอกสารรูปแบบ เราสามารถพยายามเรียนรู้โครงสร้างนั้นหรือเราสามารถป้อนโครงสร้างลำดับชั้นนี้ลงในโมเดลและดูว่ามันช่วยปรับปรุงประสิทธิภาพของโมเดลที่มีอยู่หรือไม่ บทความนี้ใช้ประโยชน์จากโครงสร้างนั้นเพื่อสร้างแบบจำลองการจำแนกประเภท

นี่คือการใช้งาน (ปิด) ของโมเดลใน Pytorch

บันทึก:

1. ฉันเพิ่มประสิทธิภาพทั้งสองคำและโมเดลความสนใจประโยคด้วยเครื่องมือเพิ่มประสิทธิภาพเดียวกัน
2. minibatches มีเบาะด้วยศูนย์ สิ่งนี้สามารถปรับปรุงได้หนึ่งสามารถเรียงลำดับ senteces ที่มีความยาวใกล้เคียงกันและลดการพายเรือลง
3. Pytorch ยังไม่รองรับการปิดบังการไล่ระดับสีดังนั้นศูนย์เบาะจะมีการไล่ระดับสีที่ไหลผ่านพวกเขาในระหว่างการ backpropagation หนึ่งสามารถสร้างหน้ากาก แต่เนื่องจากฉันสนใจที่จะใช้ GRU แบบสองทิศทางจึงเป็นไปไม่ได้ที่จะใช้หน้ากาก ฉันเคยเห็นความยาวตัวแปร RNN Supoort กำลังจะมาถึง Pytorch เช่นกัน อัปเดต: Pytorch ทำ supoort masked rnn ตอนนี้ด้วยวิธี pack_padded_equence

ภาพนี้จากบล็อกระเบิดอธิบายโครงสร้างอย่างสมบูรณ์แบบ

สมุดบันทึก

โน้ตบุ๊กมีตัวอย่างของโมเดลที่ผ่านการฝึกอบรมในชุดข้อมูลรีวิวภาพยนตร์ IMDB ฉันไม่สามารถรับชุดข้อมูล IMDB ดั้งเดิมที่กระดาษอ้างถึงได้ดังนั้นฉันจึงใช้ข้อมูลนี้

ข้อมูลที่ประมวลผลล่วงหน้ามีอยู่ที่นี่

ความแม่นยำที่ดีที่สุดที่ฉันได้รับคือประมาณ 0.35 ชุดข้อมูลนี้มีเพียง 84919 ตัวอย่างและ 10 คลาส นี่คือการสูญเสียการฝึกอบรมสำหรับชุดข้อมูล