Fill in the BERT

満たされたバート

Fill-in-The-Bertは、文の欠落している単語を予測するように訓練されたブランクモデルの記入です。このデモの目的のために、予測モデルとして事前に訓練されたBert-Base-Uncasedを使用します。 Bertが初めての場合は、Bert-Expleanded Visual Guide to Bertを読んでください

実行する手順

 $> python3 app.py

ブラウザでindex.htmlを開き、タイピングを開始します

デモ

詳細

• モデル-Bert-Base-Uncased
• 事前に訓練されたタスク-Maskedlm

PS注意視覚化は、平均をとることにより、すべての注意ヘッドにわたってレイヤー3に対して行われます。頭と、注目の内側の仕組みを視覚化することの意味についてもっと読む

使用されたテクノロジー

1. Pytorch
2. html/bootstrap
3. フラスコ