Fill in the BERT

填充物

填充物是填充空白模型的填充，該模型經過訓練，可以預測句子中缺少的單詞。出於該演示的目的，我們將使用預先訓練的Bert-Base Un-In-unctictiation模型。如果您是Bert的新手，請閱讀BERT解釋和視覺指南的Bert

運行步驟

 $> python3 app.py

在瀏覽器中打開index.html並開始鍵入

演示

細節

• 模型- 基於Bert-Base
• 預訓練的任務-MaskedLM

PS通過取平均值，在所有註意力頭的第3層進行了注意可視化。閱讀更多有關頭部的信息及其在可視化注意力的工作時的含義

使用的技術

1. Pytorch
2. html/bootstrap
3. 燒瓶