LD Net

LD-NET

检查我们的新NER工具包

• 推理：
  • Lightner ：推理w。模型预训练 /训练有素的w。有效的任何以下工具。
• 训练：
  • LD-NET ：火车NER型号W。有效的上下文表示。
  • Vanillaner ：火车香草Ner型号W。预训练的嵌入。
• 遥远的训练：
  • Autoner ：训练NER模型逐行注释并获得竞争性能。

---

LD-NET提供的序列标签模型具有：

• 效率：在不重新培训语言模型的情况下构建有效的上下文化表示。
• 可移植性：组织良好，易于修改且有据可查。

显而易见的是，我们的预训练的NER模型达到了：

• 92.08测试F1在CONLL03 NER任务上。
• 160k单词/秒解码速度（与原始型号相比， 6倍加速）。

有关LD-NET的详细信息可以通过以下网址访问：https：//arxiv.org/abs/1804.07827。

• 型号笔记
• 基准
• 预验证的模型
  • 语言模型
  • 命名实体识别
  • 分块
• 训练
  • 依赖性
  • 数据
  • 模型
  • 命令
• 推理
• 引用

型号笔记

基准

Conll03的型号	#Flops	平均（F1）	性病（F1）
香草ner wo lm	3 m	90.78	0.24
LD-NET（修剪）	51 m	91.86	0.15
LD-NET（原点，基于Dev F1选择）	51 m	91.95
LD-NET（修剪）	5 m	91.84	0.14

Conll00的型号	#Flops	平均（F1）	性病（F1）
香草np wo lm	3 m	94.42	0.08
LD-NET（修剪）	51 m	96.01	0.07
LD-NET（原点，基于Dev F1选择）	51 m	96.13
LD-NET（修剪）	10 m	95.66	0.04

预验证的模型

在这里，我们提供预训练的语言模型和预训练的序列标签模型。

语言模型

我们验证的语言模型包含单词嵌入，10层密集连接的LSTM和Adative SoftMax，并在10亿个基准数据集中达到50.06的平均PPL。

远期语言模型	向后语言模型
下载链接	下载链接

命名实体识别

原始的预训练的命名实体Tagger达到了91.95 F1，修剪标记的标签达到了92.08 F1。

原始标记器	修剪的标记器
下载链接	下载链接

分块

原始的预训练的命名实体Tagger达到96.13 F1，修剪标记的标签达到了95.79 F1。

原始标记器	修剪的标记器
下载链接	下载链接

训练

演示脚本

要修剪原始LD-NET的CONLL03 NER，请运行：

 bash ldnet_ner_prune.sh

要修剪原始的LD-NET进行Conll00块，请运行：

 bash ldnet_np_prune.sh

依赖性

我们的软件包基于Python 3.6和以下包：

 numpy
tqdm
torch-scope
torch==0.4.1

数据

pre_seq和pre_word_ada中可用预处理脚本，而预处理的数据已存储在：

ner	分块
下载链接	下载链接

模型

我们的实现可在model_seq和model_word_ada中获得，并且文档托管在readThedoc中

ner	分块
下载链接	下载链接

推理

有关模型推断，请检查我们的Lightner软件包

引用

如果您发现实现有用，请引用以下论文：有效上下文化表示：序列标签的语言模型修剪

 @inproceedings{liu2018efficient,
  title = "{Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling}", 
  author = {Liu, Liyuan and Ren, Xiang and Shang, Jingbo and Peng, Jian and Han, Jiawei}, 
  booktitle = {EMNLP}, 
  year = 2018, 
}