nlp library

NLP图书馆

这是我以某种身份和认为值得在NLP从业者图书馆中遇到的策划的论文列表。如果某些论文不容易适合其中一个盒子，则可能会出现在多个子类别中。

PRS绝对欢迎！将任何信件/问题指向@mihail_eric。

某些论文的一些特殊名称：

传奇：这是NLP文学中的游戏改变者，值得一读。

？资源：本文介绍了一些数据集/资源，因此可能对应用程序目的有用。

语音的一部分标记

• （2000）统计词性塔格尔
  • TLDR ：开创性纸，展示了一个强大的基于HMM的POS标记器。包括构建此类古典系统的许多技巧和技巧。
• （2003）具有循环依赖性网络的功能丰富的语音标记
  • TLDR ：提出了许多强大的语言功能，以构建A（当时）SOTA POS-TAGGIG系统
• （2015）序列标记的双向LSTM-CRF模型
  • TLDR ：提出了一个元素序列标记模型，该模型将神经网络与条件随机字段相结合，在Pos-Tagging，ner和Chunking中实现SOTA。

解析

• （2003）准确的未经封闭式解析
  • TLDR ：精美的纸张，证明了不受欢迎的概率环境游离语法可以超过词汇化PCFG的性能。
• （2006）学习准确，紧凑和可解释的树注释
  • TLDR ：令人着迷的结果表明，使用期望最大化，您可以自动学习以实现SOTA的树木注释的准确而紧凑的潜在非末端符号。
• （2014）使用神经网络的快速准确的依赖解析器
  • TLDR ：非常重要的工作迎来了新的基于神经网络的解析体系结构，实现了SOTA性能以及迅速的解析速度。
• （2014）语法作为外语
  • TLDR ：对选区解析的关注，最早的SEQ2SEQ架构有效性的演示之一，在WSJ语料库上实现了SOTA。还展示了数据增强对解析任务的重要性。
• （2015）基于过渡的依赖性解析与堆栈长期短期内存
  • TLDR ：呈现堆栈LSTMS，这是一种神经解析器，成功地神经化基于过渡的依赖性解析器的传统推杆操作，在此过程中实现了SOTA。

命名实体识别

• （2005）通过吉布斯采样将非本地信息纳入信息提取系统
  • TLDR ：使用凉爽的蒙特卡洛方法与有条件的随机场模型相结合，这项工作可实现某些信息提取基准的巨大误差。
• （2015）序列标记的双向LSTM-CRF模型
  • TLDR ：提出了一个元素序列标记模型，该模型将神经网络与条件随机字段相结合，在Pos-Tagging，ner和Chunking中实现SOTA。

核心分辨率

• （2010）多通筛分用于核心分辨率
  • TLDR ：提出了一种基于筛子的核心解决方法，多年来（直到深度学习方法）一直是SOTA。
• （2015）以模型堆叠为中心的以实体为中心的核心分辨率
  • TLDR ：这项工作提供了一种使用实体级功能在迭代构建核心链的漂亮方法。
• （2016）通过学习实体级分布式表示，改善核心解决方案
  • TLDR ：使用神经网络进行核心分辨率的最早有效方法之一，极大地表现了SOTA。

情感分析

• （2012年）基线和大型：简单，良好的情感和主题分类

  • TLDR ：非常优雅的纸张，说明具有Bigram功能的简单幼稚贝叶斯模型可以优于更复杂的方法，例如在诸如情感分析之类的任务上支持向量机。

• （2013）递归的深层模型，用于情感树库的语义构成？

  • TLDR ：介绍了斯坦福情感树库，这是一种对句子的精细感性注释的绝妙资源。还介绍了递归神经张量网络，这是一种整洁的语言动机深度学习体系结构。

• （2014）句子和文件的分布式表示

  • TLDR ：使用word2vec启发的想法，介绍了无监督的段落对段落的固定表示。然后在斯坦福情感树库和IMDB数据集的情感分析上实现SOTA。

• （2019）无监督的数据扩展用于一致性培训

  • TLDR ：介绍了无监督的数据增强，这是一种在少数培训示例上有效培训的方法。论文将UDA应用于IMDB情绪分析数据集，仅使用30个培训示例来实现SOTA。

自然逻辑/推理

• （2007）文本推断的自然逻辑
  • TLDR ：提出了一种严格的基于逻辑的方法来解决自然逻辑的文本推理问题。非常酷的数学动机变换用于推断短语之间的关系。
• （2008）自然逻辑的扩展模型
  • TLDR ：扩展了关于推理的自然逻辑的先前工作，增加了诸如语义排斥和含义之类的现象，以增强前提 - 假设变换过程。
• （2014）递归神经网络可以学习逻辑语义
  • TLDR ：证明，深度学习体系结构（例如神经张量网络）可以有效地应用于自然语言推论。
• （2015）一个大型注释的语料库，用于学习自然语言推断？
  • TLDR ：介绍了斯坦福大学自然语言推理语料库，这是一个优质的NLI资源，比以前的数据集更大。

机器翻译

• （1993）统计机器翻译的数学
  • TLDR ：介绍IBM机器翻译模型，统计MT中的几种开创模型。
• （2002）BLEU：一种自动评估机器翻译的方法？
  • TLDR ：提出BLEU，用于机器翻译的Defatso评估技术（即使在今天！）
• （2003）基于统计短语的翻译
  • TLDR ：介绍了MT的基于短语的翻译模型，进行了很好的分析，以证明为什么基于短语的模型优于基于单词的模型。
• （2014）与神经网络序列学习顺序
  • TLDR ：介绍序列到序列神经网络体系结构。尽管本文仅适用于MT，但此后已成为现代自然语言处理的基石架构之一。
• （2015）通过共同学习对齐和翻译的神经机器翻译
  • TLDR ：通过使用注意机制扩展了MT的先前序列到序列体系结构，这是一种强大的工具，可以允许目标单词从源句子中轻声搜索重要信号。
• （2015）基于注意力的神经机器翻译的有效方法
  • TLDR ：为MT介绍了两个新的注意机制，使用它们在现有的神经MT系统上实现SOTA。
• （2016）带有子词单元的稀有单词的神经机器翻译
  • TLDR ：介绍字节对编码，这是一种有效的技术，用于允许神经MT系统处理（更多）开放式摄影量翻译。
• （2016）指向未知词
  • TLDR ：提出了一种拷贝机制，以允许MT系统从源上下文序列中更有效地复制单词。
• （2016）Google的神经机器翻译系统：弥合人与机器翻译之间的差距
  • TLDR ：一个很棒的案例研究，展示了生产能力的机器翻译系统（在这种情况下为Google）的样子。

语义解析

• （2013）从问答对的freebase上的语义解析？
  • TLDR ：提出了一种用于语义解析的优雅技术，该技术直接从问答对学习，而无需带注释的逻辑形式，从而使系统可以扩展到freebase。
• （2014）语义解析通过释义
  • TLDR ：开发一个独特的解释模型，用于从问答对学习适当的候选逻辑表格，从而改善现有Q/A数据集的SOTA。
• （2015）一夜之间构建语义解析器？
  • TLDR ：整洁的纸张，表明可以从划痕的情况下从头开始建造语义解析器！
• （2015）将机器学习和计算语义融合在一起
  • TLDR ：计算语义框架的一个不错的概述，该框架使用机器学习来有效地学习语义解析的逻辑形式。

问题回答/阅读理解

• （2016）对CNN/每日邮件阅读理解任务进行彻底检查

  • TLDR ：一张出色的唤醒呼叫纸，证明使用具有精心选择功能的简单系统可以在某些阅读理解数据集上实现SOTA性能。不要忘记非深度学习方法！

• （2017）小队：100,000多个用于机器理解文本的问题？

  • TLDR ：介绍了小队数据集，该数据集是一种提问的语料库，已成为当今使用的Defatso基准之一。

• （2019年），请看一下您的跳跃：使用明智的上下文扩展，通过知识图回答的对话问题

  • TLDR ：介绍了一种无监督的方法，可以通过使用到目前为止所看到的实体和谓词来维护对话上下文，并自动推断出丢失或模棱两可的零件来回答不完整的问题。

• （2019年）学习通过Wikipedia图检索推理路径以回答

  • TLDR ：介绍了一种基于图的重复检索方法，该方法在Wikipedia图上检索了推理路径，以回答多跳开的开放域问题。

• （2019）绑架常识性推理

  • TLDR ：介绍一个数据集并概念化了绑架推理的两个新任务：绑架性的自然语言推断和绑架了自然语言的产生。

• （2020）虚拟知识基础上的可区分推理

  • TLDR ：引入了一个用于多跳问题答案的神经模块，该模块是可以微分的，可以端对端训练。

• （2020）利用通过生成模型的通道检索开放域问答案

  • TLDR ：提出了一种开放域问题回答的方法

• （2020）变形器：分解预训练的变压器以提高问题的速度

  • TLDR ：提出了一个分解的变压器，该变压器在较低的层中替代了整个问题和通过范围内的自我介绍，从而降低了运行时计算。

• （2020年）基于无监督的基于对准的迭代证据检索多跳的问题回答

  • TLDR ：介绍引入了一种简单，快速，无监督的迭代证据检索方法，以回答多跳问题。

• （2020）学会询问更多：在双圈相互作用下的半自动回调顺序问题生成

  • TLDR ：使用两个基于段落和答案的图表使用两个图，以半自动回归产生问题的方法。

• （2020）哪些问答可以从琐事书呆子那里学到

  • TLDR ：对回答任务可以从琐事锦标赛中学到的问题提供见解。

• （2020）使用知识库嵌入来改进多跳的问题，通过知识图回答

  • TLDR ：提出了一种在稀疏知识图上执行多跳kgqa的方法。

自然语言生成/总结

• （2004）鲁格：用于自动评估摘要的软件包？
  • TLDR ：介绍Rouge，这是一种用于汇总的评估指标，直到今天在各种序列转导任务上都使用。
• （2004）Textrank：将订单纳入文本
  • TLDR ：基于Pagerank的基于图的文本分析技术，作者以无监督的方式实现了关键字提取和非常强大的提取性摘要的SOTA结果。
• （2015）语言条件的基于LSTM的自然语言生成用于口语对话系统
  • TLDR ：提出了一个神经自然语言生成器，可以共同优化句子计划和表面实现，超过人类评估的其他系统。
• （2016）指向未知词
  • TLDR ：提出了一种拷贝机制，以允许MT系统从源上下文序列中更有效地复制单词。
• （2017）指出：用指针生成网络汇总
  • TLDR ：这项工作提供了一种优雅的软拷贝机制，在抽象摘要上大大优于SOTA。
• （2020）一种用于联合自然语言理解和产生的生成模型
  • TLDR ：这项工作提出了一种生成模型
• （2020）BART：自然语言生成，翻译和理解的降级序列到序列预训练
  • TLDR ：这项工作提出了一种生成模型，该模型通过共享的潜在变量将NLU和NLG耦合，从而在两个对话数据集中实现了最新的性能，并具有平坦的和树结构化的形式表示。

对话系统

• （2011）社交媒体中的数据驱动响应生成
  • TLDR ：建议将基于短语的统计计算方法转换为响应生成问题。
• （2015）语言条件的基于LSTM的自然语言生成用于口语对话系统
  • TLDR ：提出了一个神经自然语言生成器，可以共同优化句子计划和表面实现，超过人类评估的其他系统。
• （2016）如何不评估您的对话系统：对对话响应的无监督评估指标的实证研究
  • TLDR ：重要的工作，证明用于对话的现有自动指标与人类判断力并不相关。
• （2016）基于网络的端到端可训练的对话系统
  • TLDR ：建议将对话系统分解为许多单独训练的神经网络组件。
• （2016）神经对话模型的多元化目标函数
  • TLDR ：引入培训对话系统的最大共同信息目标功能。
• （2016）对话州跟踪挑战系列：评论
  • TLDR ：对话系统对话系统的对话状态跟踪挑战的一个很好的概述。
• （2017年）复制仪的序列到序列体系结构在以任务为导向的对话中表现良好
  • TLDR ：显示具有复制机制的简单顺序到序列体系结构可以在现有的面向任务的对话数据集上竞争性能。
• （2017）针对任务对话的键值检索网络？
  • TLDR ：为面向任务的数据集引入了一个新的多域数据集，以及用于将结构化知识库中信息软化到对话系统中的架构。
• （2017年）学习对称对话代理，具有动态知识图嵌入？
  • TLDR ：介绍了一个新的协作对话数据集，以及用于通过知识图嵌入来表示结构化知识的体系结构。
• （2017）混合代码网络：通过监督和强化学习的实用，高效的端到端对话框控制
  • TLDR ：介绍了混合对话体系结构，可以通过监督学习以及强化学习共同培训，并将神经网络技术与基于细粒度的基于规则的方法相结合。

互动学习

• （1971年）作为计算机程序中数据的表示，以理解自然语言
  • TLDR ：计算机科学的开创性论文之一，向Shrdlu引入了一种理解人类语言命令的计算机的早期系统。
• （2016）通过互动学习语言游戏
  • TLDR ：引入了一种与计算机互动的新颖设置，以完成一个只能使用自然语言与系统通信的任务！
• （2017）通过互动学习使编程语言归化
  • TLDR ：非常酷的工作，允许工人社区迭代地将一种从交互式任务中的核心命令开始的语言归化。

语言建模

• （1996）对语言建模的平滑技术的实证研究
  • TLDR ：对传统语言建模系统中的平滑技术进行广泛的调查。
• （2003）一种神经概率语言模型
  • TLDR ：NLP深度学习的开创性工作，是基于神经网络的语言建模的最早有效模型之一。
• （2014）衡量统计语言建模进度的十亿个单词基准？
  • TLDR ：介绍Google十亿个单词语言建模基准。
• （2015）角色感知的神经语言模型
  • TLDR ：使用卷积神经网络提出了一种语言模型，该模型可以采用字符级信息，并通过单词级LSTM系统执行PAR。
• （2016）探索语言建模的极限
  • TLDR ：使用深度学习介绍一个巨型语言模型系统，该系统使用各种技术，并在十亿个单词基准上进行了显着执行SOTA。
• （2018）深层上下文化的单词表示？
  • TLDR ：本文介绍了Elmo，这是一个超级强大的单词嵌入的集合，从深度双向LSTM语言模型的中间表示中学到了。在6个不同的NLP任务上实现了SOTA。
• （2018）伯特：深度双向变压器的预训练以了解语言
  • TLDR ：2018年最重要的论文之一，它引入了BERT使用语言建模预验证的强大体系结构，然后将其有效地转移到其他特定领域的任务中。
• （2019）XLNET：通用自动回报预处理以了解语言理解
  • TLDR ：广泛的自回旋预处理方法，通过在分解顺序的所有排列中最大化预期的可能性来改善BERT。

杂项

• （1997）长期记忆的长期记忆
  • TLDR ：介绍LSTM复发单元，这是现代神经网络NLP的基石
• （2000）最大信息提取和分割的最大熵马尔可夫模型
  • TLDR ：引入了Markov Entropy Markov Markov模型，以进行信息提取，这是经典NLP中常用的ML技术。
• （2010）从频率到含义：语义的向量空间模型
  • TLDR ：对文本中学习语义的现有矢量空间模型的精彩调查。
• （2012）条件随机字段的介绍
  • TLDR ：条件随机字段的一个不错的，深入的概述，这是一个常用的序列标记模型。
• （2013）单词和短语的分布表示及其组成性
  • TLDR介绍了Word2Vec，这是一个分布式向量表示的集合，通常用于在过去五年中基本上每个NLP体系结构中初始化单词嵌入。 ？
• （2014）手套：单词表示的全球向量？
  • TLDR ：介绍手套单词嵌入，这是NLP模型所有口味中最常用的验证单词嵌入技术之一
• （2014）不要算，预测！上下文计数与上下文预测语义向量的系统比较
  • TLDR ：重要的论文表明，上下文预测的分布语义方法的方法优于基于计数的技术。
• （2015）通过从单词嵌入中学到的经验教训提高分布相似性
  • TLDR ：证明，可以通过某些设计选择和超参数优化来增强传统的分销语义技术，从而使其性能与基于神经网络的嵌入方法相比。
• （2018）文本分类的通用语言模型微调
  • TLDR ：为填充语言模型提供了一系列不错的技术，可以有效地将其转移到文本分类任务中。
• （2019）类比解释：要了解单词嵌入
  • TLDR ：非常好的工作提供了数学形式主义，以理解现代单词嵌入的某些释义特性。