Download de BERT pytorch - BERT pytorch Download de código fonte

BERT pytorch

Outro código-fonte

1.0.0

Baixar

Bert-Pytorch

Implementação de Pytorch do Bert 2018 do Google AI, com anotação simples

Bert 2018 Bert: Pré-treinamento de transformadores bidirecionais profundos para entendimento de idiomas URL: https://arxiv.org/abs/1810.04805

Introdução

O artigo Bert do Google AI mostra o resultado incrível em várias tarefas de PNL (novas tarefas de 17 PNs SOTA), incluindo o desempenho superior da pontuação Human F1 na tarefa de QA do Esquadrão V1.1. Este artigo provou que o codificador baseado em transformador (auto-atimento) pode ser poderosamente usado como alternativa do modelo de idioma anterior com o método de treinamento de modelos de idiomas adequado. E, mais importante, eles nos mostraram que esse modelo de idioma pré-treinado pode ser transferido para qualquer tarefa de PNL sem fazer arquitetura de modelo específica da tarefa.

Esse resultado incrível seria recorde na história da PNL, e espero que muitos artigos sobre Bert sejam publicados em breve.

Este repositório é a implementação de Bert. O código é muito simples e fácil de entender rapidamente. Alguns desses códigos são baseados no transformador anotado

Atualmente, este projeto está trabalhando no progresso. E o código ainda não foi verificado.

Instalação

 pip install bert-pytorch

Investir rápido

Aviso: Seu corpus deve ser preparado com duas frases em uma linha com o separador de Tab ( t)

0. Prepare seu corpus

 Welcome to the t the junglen
I can stay t here all nightn

ou corpus tokenizado (a tokenização não está no pacote)

 Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn

1. Construindo vocabulário baseado em seu corpus

bert-vocab -c data/corpus.small -o data/vocab.small

2. Treine seu próprio modelo Bert

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

Modelo de idioma pré-treinamento

No artigo, os autores mostram os novos métodos de treinamento de modelos de idiomas, que são "Modelo de Idioma Mascarado" e "prevê a próxima frase".

Modelo de linguagem mascarada

Papel original: 3.3.1 Tarefa nº 1: LM mascarado

 Input Sequence  : The man went to [MASK] store with [MASK] dog
Target Sequence :                  the                his

Regras:

Aleatoriamente 15% do token de entrada será alterado para algo, com base em sub-movimentos

Recomenda -se aleatoriamente 80% dos tokens, será um token [MASK]
10% de tokens aleatoriamente, será um token [RANDOM] (outra palavra)
10% dos tokens aleatoriamente permanecerão os mesmos. Mas precisa ser previsto.

Prever a próxima frase

Artigo original: 3.3.2 Tarefa 2: Próxima previsão da frase

 Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next

Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext

"Esta frase pode ser conectada continuamente?"

Compreendendo o relacionamento, entre duas frases de texto, que não são capturadas diretamente pela modelagem de idiomas