Fill in the BERT

เติมเต็มเบิร์ต

Fill-in-the-Bert เป็นแบบเติมในรูปแบบช่องว่างที่ได้รับการฝึกฝนให้ทำนายคำที่หายไปในประโยค เพื่อจุดประสงค์ของการสาธิตนี้เราจะใช้ Bert-Base ที่ได้รับการฝึกอบรมล่วงหน้าเป็นแบบจำลองการทำนายของเรา หากคุณยังใหม่กับเบิร์ตโปรดอ่านคู่มือ Bert และ Visual Guide to Bert

ขั้นตอนในการทำงาน

 $> python3 app.py

เปิด index.html ในเบราว์เซอร์และเริ่มพิมพ์

การสาธิต

รายละเอียด

• รุ่น -Bert-Base-uncased
• งานที่ผ่านการฝึกอบรมมาก่อน - Maskedlm

PS การสร้างภาพข้อมูลความสนใจจะทำสำหรับเลเยอร์ 3 ในทุกหัวความสนใจโดยใช้ค่าเฉลี่ยของพวกเขา อ่านเพิ่มเติมเกี่ยวกับหัวและสิ่งที่พวกเขาหมายถึงการมองเห็นการทำงานภายในของความสนใจ

เทคโนโลยีที่ใช้

1. pytorch
2. html/bootstrap
3. ขวด