Fill in the BERT

Preenche-se-bert

O preenchimento-bert é um modelo de preenchimento do Blanks que é treinado para prever a palavra que falta na frase. Para os fins desta demonstração, usaremos o BERT-BASE-BASE-BASE-BASE como nosso modelo de previsão. Se você é novo no Bert, leia o guia visual explicado por Bert para Bert

Etapas para executar

 $> python3 app.py

Open Index.html no navegador e comece a digitar

Demonstração

Detalhes

• Modelo -Bert-Base-ANSed
• Tarefa pré -treinada - Maskedlm

PS A visualização de atenção é feita para a camada 3 em todas as cabeças de atenção, tomando sua média. Leia mais sobre as cabeças e o que elas significam para visualizar o funcionamento interno da atenção

Tecnologias usadas

1. Pytorch
2. Html/bootstrap
3. Balão