LD Net

Ld-net

Verifique nosso novo kit de ferramentas nerds

• Inferência :
  • Lightner : Inferência w. Modelos pré-treinados / treinados w. Quaisquer ferramentas a seguir, com eficiência .
• Treinamento :
  • LD-NET : modelos de trem de trem w. Representações contextualizadas eficientes.
  • Vanillaner : Modelos de Treine Vanilla Ner w. incorporação pré-treinada.
• Treinamento distante :
  • Autoner : Modelos de trem de treinar as anotações linha por linha e obter desempenho competitivo.

---

LD-NET fornece modelos de rotulagem de sequência com:

• Eficiência : Construindo representações contextualizadas eficientes sem reciciar modelos de idiomas.
• Portabilidade : bem organizada , fácil de modificar e bem documentada .

Observado, nosso modelo NER pré-treinado alcançado:

• 92.08 Teste F1 na tarefa do CONLL03 NER.
• Velocidade de decodificação de 160 mil palavras/s (aceleração 6x em comparação com seu modelo original).

Detalhes sobre LD-Net podem ser acessados ​​em: https://arxiv.org/abs/1804.07827.

• Notas modelo
• Benchmarks
• Modelo pré -terenciado
  • Modelos de idiomas
  • Reconhecimento de entidade nomeado
  • Chunking
• Treinamento
  • Dependência
  • Dados
  • Modelo
  • Comando
• Inferência
• Citação

Notas modelo

Benchmarks

Modelo para CONLL03	#Flops	Média (F1)	Std (f1)
Baunilha nerd wo lm	3 m	90.78	0,24
LD-NET (WO PUNING)	51 m	91.86	0,15
LD-NET (Origem, escolhido com base no dev f1)	51 m	91.95
LD-NET (podado)	5 m	91.84	0,14

Modelo para CONLL00	#Flops	Média (F1)	Std (f1)
Baunilha np wo lm	3 m	94.42	0,08
LD-NET (WO PUNING)	51 m	96.01	0,07
LD-NET (Origem, escolhido com base no dev f1)	51 m	96.13
LD-NET (podado)	10 m	95.66	0,04

Modelos pré -terem sido pretados

Aqui, fornecemos modelos de idiomas pré-treinados e modelos de rotulagem de sequência pré-treinados.

Modelos de idiomas

Nosso modelo de idioma pré-treinamento contém incorporação de palavras, LSTM densamente conectadas de 10 camadas e softmax adativo, e obtém um ppl médio de 50,06 no conjunto de dados de um bilhão de benchmark.

Modelo de linguagem para a frente	Modelo de linguagem para trás
Baixar link	Baixar link

Reconhecimento de entidade nomeado

A entidade nomeada pré-treinada original alcança 91.95 F1, a marcada podada alcançada 92.08 F1.

Tagger original	Tagger podado
Baixar link	Baixar link

Chunking

A entidade nomeada pré-treinada original alcança 96.13 F1, a marcada podada alcançada 95.79 F1.

Tagger original	Tagger podado
Baixar link	Baixar link

Treinamento

Scripts de demonstração

Para podar o LD-Net original para o NER CONLL03, execute:

 bash ldnet_ner_prune.sh

Para podar o LD-Net original para o Conll00 Chunking, corra:

 bash ldnet_np_prune.sh

Dependência

Nosso pacote é baseado no Python 3.6 e nos seguintes pacotes:

 numpy
tqdm
torch-scope
torch==0.4.1

Dados

Os scripts pré-processo estão disponíveis em pre_seq e pre_word_ada , enquanto dados pré-processados ​​foram armazenados em:

Ner	Chunking
Baixar link	Baixar link

Modelo

Nossas implementações estão disponíveis em model_seq e model_word_ada , e as documentações são hospedadas no ReadThedoc

Ner	Chunking
Baixar link	Baixar link

Inferência

Para inferência do modelo, verifique nosso pacote Lightner

Citação

Se você achar útil a implementação, cite o seguinte artigo: Representação contextualizada eficiente: Modelo de idioma Pruagem para marcação de sequência

 @inproceedings{liu2018efficient,
  title = "{Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling}", 
  author = {Liu, Liyuan and Ren, Xiang and Shang, Jingbo and Peng, Jian and Han, Jiawei}, 
  booktitle = {EMNLP}, 
  year = 2018, 
}