Fill in the BERT

ملء في بيرت

Fill-in-Bert هو ملء في نموذج الفراغات التي يتم تدريبها على التنبؤ بالكلمة المفقودة في الجملة. لغرض هذا العرض التوضيحي ، سوف نستخدم قاعدة Bert-Pert التي تم تدريبها مسبقًا كنموذج تنبؤنا. إذا كنت جديدًا على Bert ، فيرجى قراءة دليل Bert-explated و Pisicip

خطوات لتشغيل

 $> python3 app.py

افتح index.html في المتصفح وابدأ الكتابة

العرض التوضيحي

تفاصيل

• نموذج- Bert-base-uncared
• المهمة التي تم تدريبها مسبقًا - Maskedlm

ملاحظة: يتم تصور الانتباه للطبقة 3 عبر جميع رؤوس الاهتمام من خلال أخذ متوسطها. اقرأ المزيد عن الرؤوس وما تعنيه في تصور أعمال الاهتمام الداخلية

التقنيات المستخدمة

1. Pytorch
2. HTML/Bootstrap
3. قارورة