Fill in the BERT

填充物

填充物是填充空白模型的填充，该模型经过训练，可以预测句子中缺少的单词。出于该演示的目的，我们将使用预先训练的Bert-Base Un-In-unctictiation模型。如果您是Bert的新手，请阅读BERT解释和视觉指南的Bert

运行步骤

 $> python3 app.py

在浏览器中打开index.html并开始键入

演示

细节

• 模型- 基于Bert-Base
• 预训练的任务-MaskedLM

PS通过取平均值，在所有注意力头的第3层进行了注意可视化。阅读更多有关头部的信息及其在可视化注意力的工作时的含义

使用的技术

1. Pytorch
2. html/bootstrap
3. 烧瓶