Fill in the BERT
1.0.0
Fill-in-the-bert-это заполнение модели Blanks, которая обучена прогнозировать недостающее слово в предложении. В целях этой демонстрации мы будем использовать предварительно обученную Bert-базовую открытую в качестве нашей модели прогнозирования. Если вы новичок в BERT, пожалуйста, прочитайте BERT-эксплуатацию и визуальное руководство для BERT
$> python3 app.py
Откройте index.html в браузере и начните печатать
PS Визуализация внимания сделана для слоя 3 во всех головах внимания, принимая их среднее значение. Узнайте больше о головах и о том, что они означают при визуализации внутренней работы внимания
