nlp library

NLP圖書館

這是我以某種身份和認為值得在NLP從業者圖書館中遇到的策劃的論文列表。如果某些論文不容易適合其中一個盒子，則可能會出現在多個子類別中。

PRS絕對歡迎！將任何信件/問題指向@mihail_eric。

某些論文的一些特殊名稱：

傳奇：這是NLP文學中的遊戲改變者，值得一讀。

？資源：本文介紹了一些數據集/資源，因此可能對應用程序目的有用。

語音的一部分標記

• （2000）統計詞性塔格爾
  • TLDR ：開創性紙，展示了一個強大的基於HMM的POS標記器。包括構建此類古典系統的許多技巧和技巧。
• （2003）具有循環依賴性網絡的功能豐富的語音標記
  • TLDR ：提出了許多強大的語言功能，以構建A（當時）SOTA POS-TAGGIG系統
• （2015）序列標記的雙向LSTM-CRF模型
  • TLDR ：提出了一個元素序列標記模型，該模型將神經網絡與條件隨機字段相結合，在Pos-Tagging，ner和Chunking中實現SOTA。

解析

• （2003）準確的未經封閉式解析
  • TLDR ：精美的紙張，證明了不受歡迎的概率環境游離語法可以超過詞彙化PCFG的性能。
• （2006）學習準確，緊湊和可解釋的樹註釋
  • TLDR ：令人著迷的結果表明，使用期望最大化，您可以自動學習以實現SOTA的樹木註釋的準確而緊湊的潛在非末端符號。
• （2014）使用神經網絡的快速準確的依賴解析器
  • TLDR ：非常重要的工作迎來了新的基於神經網絡的解析體系結構，實現了SOTA性能以及迅速的解析速度。
• （2014）語法作為外語
  • TLDR ：對選區解析的關注，最早的SEQ2SEQ架構有效性的演示之一，在WSJ語料庫上實現了SOTA。還展示了數據增強對解析任務的重要性。
• （2015）基於過渡的依賴性解析與堆棧長期短期內存
  • TLDR ：呈現堆棧LSTMS，這是一種神經解析器，成功地神經化基於過渡的依賴性解析器的傳統推桿操作，在此過程中實現了SOTA。

命名實體識別

• （2005）通過吉布斯採樣將非本地信息納入信息提取系統
  • TLDR ：使用涼爽的蒙特卡洛方法與有條件的隨機場模型相結合，這項工作可實現某些信息提取基準的巨大誤差。
• （2015）序列標記的雙向LSTM-CRF模型
  • TLDR ：提出了一個元素序列標記模型，該模型將神經網絡與條件隨機字段相結合，在Pos-Tagging，ner和Chunking中實現SOTA。

核心分辨率

• （2010）多通篩分用於核心分辨率
  • TLDR ：提出了一種基於篩子的核心解決方法，多年來（直到深度學習方法）一直是SOTA。
• （2015）以模型堆疊為中心的以實體為中心的核心分辨率
  • TLDR ：這項工作提供了一種使用實體級功能在迭代構建核心鏈的漂亮方法。
• （2016）通過學習實體級分佈式表示，改善核心解決方案
  • TLDR ：使用神經網絡進行核心分辨率的最早有效方法之一，極大地表現了SOTA。

情感分析

• （2012年）基線和大型：簡單，良好的情感和主題分類

  • TLDR ：非常優雅的紙張，說明具有Bigram功能的簡單幼稚貝葉斯模型可以優於更複雜的方法，例如在諸如情感分析之類的任務上支持向量機。

• （2013）遞歸的深層模型，用於情感樹庫的語義構成？

  • TLDR ：介紹了斯坦福情感樹庫，這是一種對句子的精細感性註釋的絕妙資源。還介紹了遞歸神經張量網絡，這是一種整潔的語言動機深度學習體系結構。

• （2014）句子和文件的分佈式表示

  • TLDR ：使用word2vec啟發的想法，介紹了無監督的段落對段落的固定表示。然後在斯坦福情感樹庫和IMDB數據集的情感分析上實現SOTA。

• （2019）無監督的數據擴展用於一致性培訓

  • TLDR ：介紹了無監督的數據增強，這是一種在少數培訓示例上有效培訓的方法。論文將UDA應用於IMDB情緒分析數據集，僅使用30個培訓示例來實現SOTA。

自然邏輯/推理

• （2007）文本推斷的自然邏輯
  • TLDR ：提出了一種嚴格的基於邏輯的方法來解決自然邏輯的文本推理問題。非常酷的數學動機變換用於推斷短語之間的關係。
• （2008）自然邏輯的擴展模型
  • TLDR ：擴展了關於推理的自然邏輯的先前工作，增加了諸如語義排斥和含義之類的現象，以增強前提 - 假設變換過程。
• （2014）遞歸神經網絡可以學習邏輯語義
  • TLDR ：證明，深度學習體系結構（例如神經張量網絡）可以有效地應用於自然語言推論。
• （2015）一個大型註釋的語料庫，用於學習自然語言推斷？
  • TLDR ：介紹了斯坦福大學自然語言推理語料庫，這是一個優質的NLI資源，比以前的數據集更大。

機器翻譯

• （1993）統計機器翻譯的數學
  • TLDR ：介紹IBM機器翻譯模型，統計MT中的幾種開創模型。
• （2002）BLEU：一種自動評估機器翻譯的方法？
  • TLDR ：提出BLEU，用於機器翻譯的Defatso評估技術（即使在今天！）
• （2003）基於統計短語的翻譯
  • TLDR ：介紹了MT的基於短語的翻譯模型，進行了很好的分析，以證明為什麼基於短語的模型優於基於單詞的模型。
• （2014）與神經網絡序列學習順序
  • TLDR ：介紹序列到序列神經網絡體系結構。儘管本文僅適用於MT，但此後已成為現代自然語言處理的基石架構之一。
• （2015）通過共同學習對齊和翻譯的神經機器翻譯
  • TLDR ：通過使用注意機制擴展了MT的先前序列到序列體系結構，這是一種強大的工具，可以允許目標單詞從源句子中輕聲搜索重要信號。
• （2015）基於注意力的神經機器翻譯的有效方法
  • TLDR ：為MT介紹了兩個新的注意機制，使用它們在現有的神經MT系統上實現SOTA。
• （2016）帶有子詞單元的稀有單詞的神經機器翻譯
  • TLDR ：介紹字節對編碼，這是一種有效的技術，用於允許神經MT系統處理（更多）開放式攝影量翻譯。
• （2016）指向未知詞
  • TLDR ：提出了一種拷貝機制，以允許MT系統從源上下文序列中更有效地複制單詞。
• （2016）Google的神經機器翻譯系統：彌合人與機器翻譯之間的差距
  • TLDR ：一個很棒的案例研究，展示了生產能力的機器翻譯系統（在這種情況下為Google）的樣子。

語義解析

• （2013）從問答對的freebase上的語義解析？
  • TLDR ：提出了一種用於語義解析的優雅技術，該技術直接從問答對學習，而無需帶註釋的邏輯形式，從而使系統可以擴展到freebase。
• （2014）語義解析通過釋義
  • TLDR ：開發一個獨特的解釋模型，用於從問答對學習適當的候選邏輯表格，從而改善現有Q/A數據集的SOTA。
• （2015）一夜之間構建語義解析器？
  • TLDR ：整潔的紙張，表明可以從划痕的情況下從頭開始建造語義解析器！
• （2015）將機器學習和計算語義融合在一起
  • TLDR ：計算語義框架的一個不錯的概述，該框架使用機器學習來有效地學習語義解析的邏輯形式。

問題回答/閱讀理解

• （2016）對CNN/每日郵件閱讀理解任務進行徹底檢查

  • TLDR ：一張出色的喚醒呼叫紙，證明使用具有精心選擇功能的簡單系統可以在某些閱讀理解數據集上實現SOTA性能。不要忘記非深度學習方法！

• （2017）小隊：100,000多個用於機器理解文本的問題？

  • TLDR ：介紹了小隊數據集，該數據集是一種提問的語料庫，已成為當今使用的Defatso基準之一。

• （2019年），請看一下您的跳躍：使用明智的上下文擴展，通過知識圖回答的對話問題

  • TLDR ：介紹了一種無監督的方法，可以通過使用到目前為止所看到的實體和謂詞來維護對話上下文，並自動推斷出丟失或模棱兩可的零件來回答不完整的問題。

• （2019年）學習通過Wikipedia圖檢索推理路徑以回答

  • TLDR ：介紹了一種基於圖的重複檢索方法，該方法在Wikipedia圖上檢索了推理路徑，以回答多跳開的開放域問題。

• （2019）綁架常識性推理

  • TLDR ：介紹一個數據集並概念化了綁架推理的兩個新任務：綁架性的自然語言推斷和綁架了自然語言的產生。

• （2020）虛擬知識基礎上的可區分推理

  • TLDR ：引入了一個用於多跳問題答案的神經模塊，該模塊是可以微分的，可以端對端訓練。

• （2020）利用通過生成模型的通道檢索開放域問答案

  • TLDR ：提出了一種開放域問題回答的方法

• （2020）變形器：分解預訓練的變壓器以提高問題的速度

  • TLDR ：提出了一個分解的變壓器，該變壓器在較低的層中替代了整個問題和通過範圍內的自我介紹，從而降低了運行時計算。

• （2020年）基於無監督的基於對準的迭代證據檢索多跳的問題回答

  • TLDR ：介紹引入了一種簡單，快速，無監督的迭代證據檢索方法，以回答多跳問題。

• （2020）學會詢問更多：在雙圈相互作用下的半自動回調順序問題生成

  • TLDR ：使用兩個基於段落和答案的圖表使用兩個圖，以半自動回歸產生問題的方法。

• （2020）哪些問答可以從瑣事書呆子那裡學到

  • TLDR ：對回答任務可以從瑣事錦標賽中學到的問題提供見解。

• （2020）使用知識庫嵌入來改進多跳的問題，通過知識圖回答

  • TLDR ：提出了一種在稀疏知識圖上執行多跳kgqa的方法。

自然語言生成/總結

• （2004）魯格：用於自動評估摘要的軟件包？
  • TLDR ：介紹Rouge，這是一種用於匯總的評估指標，直到今天在各種序列轉導任務上都使用。
• （2004）Textrank：將訂單納入文本
  • TLDR ：基於Pagerank的基於圖的文本分析技術，作者以無監督的方式實現了關鍵字提取和非常強大的提取性摘要的SOTA結果。
• （2015）語言條件的基於LSTM的自然語言生成用於口語對話系統
  • TLDR ：提出了一個神經自然語言生成器，可以共同優化句子計劃和表面實現，超過人類評估的其他系統。
• （2016）指向未知詞
  • TLDR ：提出了一種拷貝機制，以允許MT系統從源上下文序列中更有效地複制單詞。
• （2017）指出：用指針生成網絡匯總
  • TLDR ：這項工作提供了一種優雅的軟拷貝機制，在抽象摘要上大大優於SOTA。
• （2020）一種用於聯合自然語言理解和產生的生成模型
  • TLDR ：這項工作提出了一種生成模型
• （2020）BART：自然語言生成，翻譯和理解的降級序列到序列預訓練
  • TLDR ：這項工作提出了一種生成模型，該模型通過共享的潛在變量將NLU和NLG耦合，從而在兩個對話數據集中實現了最新的性能，並具有平坦的和樹結構化的形式表示。

對話系統

• （2011）社交媒體中的數據驅動響應生成
  • TLDR ：建議將基於短語的統計計算方法轉換為響應生成問題。
• （2015）語言條件的基於LSTM的自然語言生成用於口語對話系統
  • TLDR ：提出了一個神經自然語言生成器，可以共同優化句子計劃和表面實現，超過人類評估的其他系統。
• （2016）如何不評估您的對話系統：對對話響應的無監督評估指標的實證研究
  • TLDR ：重要的工作，證明用於對話的現有自動指標與人類判斷力並不相關。
• （2016）基於網絡的端到端可訓練的對話系統
  • TLDR ：建議將對話系統分解為許多單獨訓練的神經網絡組件。
• （2016）神經對話模型的多元化目標函數
  • TLDR ：引入培訓對話系統的最大共同信息目標功能。
• （2016）對話州跟踪挑戰系列：評論
  • TLDR ：對話系統對話系統的對話狀態跟踪挑戰的一個很好的概述。
• （2017年）複製儀的序列到序列體系結構在以任務為導向的對話中表現良好
  • TLDR ：顯示具有復制機制的簡單順序到序列體系結構可以在現有的面向任務的對話數據集上競爭性能。
• （2017）針對任務對話的鍵值檢索網絡？
  • TLDR ：為面向任務的數據集引入了一個新的多域數據集，以及用於將結構化知識庫中信息軟化到對話系統中的架構。
• （2017年）學習對稱對話代理，具有動態知識圖嵌入？
  • TLDR ：介紹了一個新的協作對話數據集，以及用於通過知識圖嵌入來表示結構化知識的體系結構。
• （2017）混合代碼網絡：通過監督和強化學習的實用，高效的端到端對話框控制
  • TLDR ：介紹了混合對話體系結構，可以通過監督學習以及強化學習共同培訓，並將神經網絡技術與基於細粒度的基於規則的方法相結合。

互動學習

• （1971年）作為計算機程序中數據的表示，以理解自然語言
  • TLDR ：計算機科學的開創性論文之一，向Shrdlu引入了一種理解人類語言命令的計算機的早期系統。
• （2016）通過互動學習語言遊戲
  • TLDR ：引入了一種與計算機互動的新穎設置，以完成一個只能使用自然語言與系統通信的任務！
• （2017）通過互動學習使編程語言歸化
  • TLDR ：非常酷的工作，允許工人社區迭代地將一種從交互式任務中的核心命令開始的語言歸化。

語言建模

• （1996）對語言建模的平滑技術的實證研究
  • TLDR ：對傳統語言建模系統中的平滑技術進行廣泛的調查。
• （2003）一種神經概率語言模型
  • TLDR ：NLP深度學習的開創性工作，是基於神經網絡的語言建模的最早有效模型之一。
• （2014）衡量統計語言建模進度的十億個單詞基準？
  • TLDR ：介紹Google十億個單詞語言建模基準。
• （2015）角色感知的神經語言模型
  • TLDR ：使用卷積神經網絡提出了一種語言模型，該模型可以採用字符級信息，並通過單詞級LSTM系統執行PAR。
• （2016）探索語言建模的極限
  • TLDR ：使用深度學習介紹一個巨型語言模型系統，該系統使用各種技術，並在十億個單詞基准上進行了顯著執行SOTA。
• （2018）深層上下文化的單詞表示？
  • TLDR ：本文介紹了Elmo，這是一個超級強大的單詞嵌入的集合，從深度雙向LSTM語言模型的中間表示中學到了。在6個不同的NLP任務上實現了SOTA。
• （2018）伯特：深度雙向變壓器的預訓練以了解語言
  • TLDR ：2018年最重要的論文之一，它引入了BERT使用語言建模預驗證的強大體系結構，然後將其有效地轉移到其他特定領域的任務中。
• （2019）XLNET：通用自動回報預處理以了解語言理解
  • TLDR ：廣泛的自迴旋預處理方法，通過在分解順序的所有排列中最大化預期的可能性來改善BERT。

雜項

• （1997）長期記憶的長期記憶
  • TLDR ：介紹LSTM復發單元，這是現代神經網絡NLP的基石
• （2000）最大信息提取和分割的最大熵馬爾可夫模型
  • TLDR ：引入了Markov Entropy Markov Markov模型，以進行信息提取，這是經典NLP中常用的ML技術。
• （2010）從頻率到含義：語義的向量空間模型
  • TLDR ：對文本中學習語義的現有矢量空間模型的精彩調查。
• （2012）條件隨機字段的介紹
  • TLDR ：條件隨機字段的一個不錯的，深入的概述，這是一個常用的序列標記模型。
• （2013）單詞和短語的分佈表示及其組成性
  • TLDR介紹了Word2Vec，這是一個分佈式向量表示的集合，通常用於在過去五年中基本上每個NLP體系結構中初始化單詞嵌入。 ？
• （2014）手套：單詞表示的全球向量？
  • TLDR ：介紹手套單詞嵌入，這是NLP模型所有口味中最常用的驗證單詞嵌入技術之一
• （2014）不要算，預測！上下文計數與上下文預測語義向量的系統比較
  • TLDR ：重要的論文表明，上下文預測的分佈語義方法的方法優於基於計數的技術。
• （2015）通過從單詞嵌入中學到的經驗教訓提高分佈相似性
  • TLDR ：證明，可以通過某些設計選擇和超參數優化來增強傳統的分銷語義技術，從而使其性能與基於神經網絡的嵌入方法相比。
• （2018）文本分類的通用語言模型微調
  • TLDR ：為填充語言模型提供了一系列不錯的技術，可以有效地將其轉移到文本分類任務中。
• （2019）類比解釋：要了解單詞嵌入
  • TLDR ：非常好的工作提供了數學形式主義，以理解現代單詞嵌入的某些釋義特性。