nlp library

nlp-library

これは、私が何らかの能力で遭遇した論文のキュレーションされたリストであり、NLP Practitioner's Libraryに含まれる価値があると思われるリストです。一部の論文は、ボックスの1つに簡単に収まらない場合、複数のサブカテゴリに表示される場合があります。

PRは本当に大歓迎です！通信/質問を@mihail_ericに指示します。

特定の論文のいくつかの特別な指定：

伝説：これはNLPの文献のゲームチェンジャーであり、読む価値があります。

？リソース：このペーパーでは、いくつかのデータセット/リソースを紹介するため、アプリケーションの目的に役立つ場合があります。

スピーチの一部のタグ付け

• （2000）統計的なスピーチの一部のタガー
  • TLDR ：強力なHMMベースのPOSタガーを示す独創的な論文。このような古典的なシステムを構築するための多くのヒントとコツが含まれています。
• （2003）周期的依存関係ネットワークを使用した機能が豊富なスピーチの一部のタグ付け
  • TLDR ：（Then）SOTA POSタギングシステムを構築するための多くの強力な言語機能を提案しています
• （2015）シーケンスタグ付けの双方向LSTM-CRFモデル
  • TLDR ：ニューラルネットワークと条件付きランダムフィールドを組み合わせた要素シーケンスタギングモデルを提案し、POSタグ、NER、およびチャンキングでSOTAを達成します。

解析

• （2003）正確な非測定解析
  • TLDR ：非測定されていない確率的コンテキストフリーグラマーが語彙化されたPCFGのパフォーマンスを超えることを示す美しい論文。
• （2006）正確でコンパクトで解釈可能なツリーアノテーションを学習する
  • TLDR ：期待最大化を使用すると、SOTAを達成するための正確でコンパクトな潜在的な非末端記号を自動的に学習できることを示す魅力的な結果。
• （2014）ニューラルネットワークを使用した高速かつ正確な依存関係パーサー
  • TLDR ：ニューラルネットワークベースの解析アーキテクチャの新しい波を導く非常に重要な作業、ソタのパフォーマンスと燃えるような解析速度を達成します。
• （2014）外国語としての文法
  • TLDR ：選挙区の解析に注意を払って、SEQ2SEQアーキテクチャの有効性の最も初期のデモンストレーションの1つであり、WSJコーパスでソタを達成しました。また、解析タスクのデータ増強の重要性も示しました。
• （2015）スタックを使用した遷移ベースの依存関係長い短期メモリ
  • TLDR ：遷移ベースの依存関係パーサーの従来のプッシュポップ操作を正常に神経化するニューラルパーサーであるスタックLSTMSを提示し、プロセスでSOTAを達成します。

名前付きエンティティ認識

• （2005）Gibbsサンプリングによる非ローカル情報を情報抽出システムに組み込む
  • TLDR ：条件付きランダムフィールドモデルと組み合わせたCool Monte Carloメソッドを使用して、この作業は特定の情報抽出ベンチマークの大幅なエラー削減を実現します。
• （2015）シーケンスタグ付けの双方向LSTM-CRFモデル
  • TLDR ：ニューラルネットワークと条件付きランダムフィールドを組み合わせた要素シーケンスタギングモデルを提案し、POSタグ、NER、およびチャンキングでSOTAを達成します。

コアレファレンス解像度

• （2010）コアレーション解像度のためのマルチパスシーブ
  • TLDR ：長年にわたって（深い学習がアプローチするまで）SOTAであったというコアレーション解像度へのふるいベースのアプローチを提案しています。
• （2015）モデルスタッキングを使用したエンティティ中心のコアレーション解像度
  • TLDR ：この作業は、エンティティレベルの機能を使用して、コアレファレンスチェーンを反復的に構築するための気の利いたアプローチを提供します。
• （2016）エンティティレベルの分散表現を学習することにより、コアレファレンスの解決を改善します
  • TLDR ：コアレーション解像度のためにニューラルネットワークを使用するための最も初期の効果的なアプローチの1つであり、SOTAを大幅に上回っています。

感情分析

• （2012）ベースラインとビッグラム：シンプルで良い感情とトピックの分類

  • TLDR ：非常にエレガントな紙は、BigRam機能を備えたシンプルなナイーブなベイズモデルが、センチメント分析などのタスク上のサポートベクターマシンなど、より洗練された方法を上回ることができることを示しています。

• （2013）感情のツリーバンク上のセマンティックな構成のための再帰的な深いモデル？

  • TLDR ：Stanford Sentiment Treebankを紹介します。これは、文で細かく粒の感情の注釈のための素晴らしいリソースです。また、再帰的なニューラルテンソルネットワークを導入します。

• （2014）文と文書の分散表現

  • TLDR ： Word2vecからインスピレーションを受けたアイデアを使用して、段落の固定表現を学習する監視されていないパラグラフェクターを導入します。 Stanford Sentiment TreeBankおよびIMDBデータセットのセンチメント分析でSOTAを達成します。

• （2019）一貫性トレーニングのための監視されていないデータ増強

  • TLDR ：監視されていないデータ増強を紹介します。これは、少数のトレーニング例に関する効率的なトレーニングの方法です。紙はUDAをIMDBセンチメント分析データセットに適用し、30のトレーニング例でSOTAを達成します。

自然論理/推論

• （2007）テキスト推論のための自然論理
  • TLDR ：Natural Logicと呼ばれるテキスト推論の問題に対する厳密な論理ベースのアプローチを提案します。非常にクールな数学的に動機付けられた変換は、フレーズ間の関係を推測するために使用されます。
• （2008）自然論理の拡張モデル
  • TLDR ：推論のための自然論理に関する以前の作業を拡張し、セマンティック除外や暗示性などの現象を追加して、前提型 - ハポテシス変換プロセスを強化します。
• （2014）再帰的なニューラルネットワークは、論理セマンティクスを学ぶことができます
  • TLDR ：ニューラルテンソルネットワークなどの深い学習アーキテクチャが自然言語の推論に効果的に適用できることを示しています。
• （2015）自然言語の推論を学ぶための大きな注釈付きコーパス？
  • TLDR ：Stanford Natural Language Inference Corpusを紹介します。これは、以前のデータセットよりも2桁大きい素晴らしいNLIリソースです。

機械翻訳

• （1993）統計機械翻訳の数学
  • TLDR ：IBMマシン翻訳モデル、統計MTのいくつかの独創的なモデルを紹介します。
• （2002）BLEU：機械翻訳の自動評価の方法？
  • TLDR ：機械翻訳に使用されるfacto評価手法であるBleuを提案します（今日でも！）
• （2003）統計的フレーズベースの翻訳
  • TLDR ：MTのフレーズベースの翻訳モデルを導入し、フレーズベースのモデルが単語ベースのモデルを上回る理由を示す素晴らしい分析を行います。
• （2014）ニューラルネットワークを使用したシーケンス学習へのシーケンス
  • TLDR ：シーケンスからシーケンスへのニューラルネットワークアーキテクチャを紹介します。このペーパーではMTにのみ適用されていますが、それ以来、現代の自然言語処理の礎石アーキテクチャの1つになりました。
• （2015）整列と翻訳を共同で学習することによるニューラル機械翻訳
  • TLDR ：MTの以前のシーケンスからシーケンスアーキテクチャを、ターゲットワードがソースセンテンスから重要な信号を柔らかく検索できるようにする強力なツールであるMTのシーケンスからシーケンスアーキテクチャを拡張します。
• （2015）注意ベースの神経機械翻訳への効果的なアプローチ
  • TLDR ：MTに2つの新しい注意メカニズムを導入し、それらを使用して既存のニューラルMTシステム上でSOTAを達成します。
• （2016）サブワード単位を持つまれな単語のニューラル機械翻訳
  • TLDR ：Neural MTシステムが（より多くの）オープンボキャブラリー翻訳を処理できるようにするための効果的な手法であるByteペアエンコーディングを導入します。
• （2016）未知の言葉を指している
  • TLDR ：MTシステムがソースコンテキストシーケンスから単語をより効果的にコピーできるようにするためのコピーメカニズムを提案しています。
• （2016）Googleのニューラル機械翻訳システム：人間と機械の翻訳のギャップを埋める
  • TLDR ：生産能力のある機械翻訳システム（この場合はGoogleの）がどのように見えるかを示す素晴らしいケーススタディ。

セマンティック解析

• （2013）質問回答のペアからの自由baseでのセマンティック解析？
  • TLDR ：注釈付きの論理フォームを必要とせずに、質問を回答したペアから直接学習するセマンティック解析のエレガントなテクニックを提案し、システムをフリーベースに拡大できるようにします。
• （2014）言い換えによるセマンティック解析
  • TLDR ：質問回答ペアから適切な候補の論理フォームを学習するためのユニークな言い換えモデルを開発し、既存のQ/AデータセットのSOTAを改善します。
• （2015）セマンティックパーサーを一晩構築しますか？
  • TLDR ：トレーニングの例なしで始まるセマンティックパーサーをゼロから構築できることを示すきちんとした紙！
• （2015）機械学習と計算セマンティクスをまとめる
  • TLDR ：機械学習を使用してセマンティック解析の論理フォームを効果的に学習する計算セマンティクスフレームワークの素晴らしい概要。

質問の回答/読解

• （2016）CNN/Daily Mailの読解力の徹底的な調査

  • TLDR ：優れたモーニングコールペーパーで、慎重に選択された機能を備えたシンプルなシステムを使用して、特定の読解データセットでSOTAパフォーマンスを実現できることを示しています。 DEEP学習方法を忘れないでください！

• （2017）分隊：テキストの機械的理解のための100,000以上の質問？

  • TLDR ：Squad Datasetを紹介します。これは、今日使用されているfactoベンチマークの1つになった質問を回避するコーパスです。

• （2019）あなたがホップする前に見る：賢明なコンテキスト拡張を使用して知識グラフに答える会話の質問

  • TLDR ：これまでに見られたエンティティと述語を使用して会話のコンテキストを維持し、フォローアップの質問のために欠落または曖昧な部分を自動的に推測することにより、知識グラフ上で不完全な質問に答えることができる監視されていない方法を紹介します。

• （2019）質問に答えるためにウィキペディアグラフ上の推論パスを取得することを学ぶ

  • TLDR ：新しいグラフベースのRecurrent回収アプローチを導入します。これにより、Wikipediaグラフ上の推論パスを取得して、マルチホップのオープンドメインの質問に答えます。

• （2019）誘ductiveな常識的推論

  • TLDR ：データセットを導入し、誘ductive的な推論のための2つの新しいタスクを概念化します：誘惑的な自然言語の推論と誘ductive自然言語生成。

• （2020）仮想知識ベースに対する微分可能な推論

  • TLDR ：マルチホップの質問応答用のニューラルモジュールを導入します。

• （2020）オープンドメインの質問応答の生成モデルを使用したパッセージ検索を活用する

  • TLDR ：生成モデルで処理する前にサポートパッセージの取得に依存するオープンドメインの質問へのアプローチを提示します

• （2020）DEFROMER：訓練を受けた事前に訓練された変圧器を分解して、より速い質問応答

  • TLDR ：分解された変圧器を提示します。これは、ランタイムコンピューティートを削減する下層の質問全体と通過幅の自己attentを完全な自己触たちに置き換えます。

• （2020）マルチホップ質問の回答のための監視されていないアラインメントベースの反復的証拠取得

  • TLDR ：プレゼントは、マルチホップ質問応答のためのシンプルで高速で監視されていない反復的な証拠検索方法を導入します。

• （2020）詳細を尋ねることを学ぶ：デュアルグラフの相互作用の下での半自動性の連続的な質問生成

  • TLDR ：パッセージと回答に基づいて2つのグラフを使用して、半自動節で質問を生成するためのアプローチを提示します。

• （2020）トリビアオタクから質問することができる質問

  • TLDR ：Trivia Tournamentsから学習できる質問にどのような質問にできるかについての洞察を提示します。

• （2020）知識ベースの埋め込みを使用して、知識グラフに応答するマルチホップの質問の改善

  • TLDR ：まばらな知識グラフを介してマルチホップKGQAを実行するのに効果的なアプローチを提示します。

自然言語生成/要約

• （2004）Rouge：要約の自動評価のためのパッケージ？
  • TLDR ：さまざまなシーケンス変換タスクで今日に使用されている要約の評価メトリックであるRougeを紹介します。
• （2004）テキストラン：テキストに注文を持ち込みます
  • TLDR ：Pagerankに基づいたグラフベースのテキスト分析手法を適用すると、著者はキーワード抽出と非常に強力な抽出要約でSOTA結果を達成し、監視されていません。
• （2015）話し言葉システムのための意味的に条件付けられたLSTMベースの自然言語生成
  • TLDR ：文の計画と表面実現を共同で最適化し、人間の評価で他のシステムを上回る神経自然言語ジェネレーターを提案します。
• （2016）未知の言葉を指している
  • TLDR ：MTシステムがソースコンテキストシーケンスから単語をより効果的にコピーできるようにするためのコピーメカニズムを提案しています。
• （2017）ポイントに到達：ポインタージェネレーターネットワークを使用した要約
  • TLDR ：この作業は、抽象的な要約でソタを大幅に上回るエレガントなソフトコピーメカニズムを提供します。
• （2020）共同自然言語の理解と生成のための生成モデル
  • TLDR ：この作業は、共有潜在変数を介してNLUとNLGを結びつける生成モデルを提示し、2つのダイアログデータセットで最先端のパフォーマンスを実現し、フラットとツリー構造の両方の正式な表現を実現します
• （2020）BART：自然言語の生成、翻訳、および理解のためのシーケンスからシーケンス前トレーニングを除去する
  • TLDR ：この作業は、共有潜在変数を介してNLUとNLGを結びつける生成モデルを提示し、フラットとツリーの構造化された正式な表現の両方で2つのダイアログデータセットで最先端のパフォーマンスを達成します。

対話システム

• （2011）ソーシャルメディアにおけるデータドライブ応答生成
  • TLDR ：応答生成の問題に対して、フレーズベースの統計機械翻訳方法を使用することを提案しています。
• （2015）話し言葉システムのための意味的に条件付けられたLSTMベースの自然言語生成
  • TLDR ：文の計画と表面実現を共同で最適化し、人間の評価で他のシステムを上回る神経自然言語ジェネレーターを提案します。
• （2016）対話システムを評価しない方法：対話応答生成のための監視されていない評価メトリックの実証的研究
  • TLDR ：対話に使用される既存の自動メトリックが、人間の判断とうまく相関していないことを示す重要な作業。
• （2016）ネットワークベースのエンドツーエンドトレーニング可能なタスク指向のダイアログシステム
  • TLDR ：ダイアログシステムを個別に訓練した多数のニューラルネットワークコンポーネントに分解するためのきちんとしたアーキテクチャを提案しています。
• （2016）神経会話モデルの多様性促進目的関数
  • TLDR ：対話システムをトレーニングするための最大の相互情報目標関数を導入します。
• （2016）Dialogue State Tracking Challengeシリーズ：レビュー
  • TLDR ：ダイアログシステムのダイアログ状態追跡課題の概要。
• （2017）コピーの高級シーケンスからシーケンスアーキテクチャは、タスク指向の対話で優れたパフォーマンスを提供します
  • TLDR ：コピーメカニズムを備えた単純なシーケンスからシーケンスアーキテクチャが、既存のタスク指向のダイアログデータセットで競合することができることを示しています。
• （2017）タスク指向の対話のためのキー価値検索ネットワーク？
  • TLDR ：タスク指向のデータセット用の新しいマルチドメインデータセットと、構造化された知識ベースからの情報をダイアログシステムに柔らかく組み込むアーキテクチャを紹介します。
• （2017）動的知識グラフの埋め込みを持つ対称的なコラボレーション対話エージェントを学習しますか？
  • TLDR ：新しいコラボレーションダイアログデータセットと、知識グラフの埋め込みを介して構造化された知識を表現するためのアーキテクチャを紹介します。
• （2017）ハイブリッドコードネットワーク：監視および強化学習を備えた実用的で効率的なエンドツーエンドダイアログ制御
  • TLDR ：監視された学習と強化学習を通じて共同でトレーニングできるハイブリッドダイアログアーキテクチャを導入し、ニューラルネットワークテクニックと細粒のルールベースのアプローチを組み合わせます。

インタラクティブな学習

• （1971）自然言語を理解するためのコンピュータープログラムのデータの表現としての手順
  • TLDR ：コンピューターサイエンスの独創的な論文の1つは、Shrdluに人間の言語コマンドを理解するコンピューターのための初期のシステムを導入します。
• （2016）相互作用を通じて言語ゲームを学ぶ
  • TLDR ：コンピューターと対話するための新しい設定を紹介して、システムと通信するために自然言語のみを使用できるタスクを達成します！
• （2017）インタラクティブ学習を介してプログラミング言語を帰化させます
  • TLDR ：ワーカーのコミュニティがインタラクティブなタスクのコアセットから始まる言語を反復的に帰化させることができる非常にクールな仕事。

言語モデリング

• （1996）言語モデリングのための平滑化技術の経験的研究
  • TLDR ：従来の言語モデリングシステムにおけるスムージング技術の広範な調査を実行します。
• （2003）神経確率論的言語モデル
  • TLDR ：NLPの深い学習における独創的な研究で、ニューラルネットワークベースの言語モデリングに最も初期の効果的なモデルの1つを紹介します。
• （2014）統計言語モデリングの進捗を測定するための10億語のベンチマーク？
  • TLDR ：Googleが10億語の言語モデリングベンチマークを紹介します。
• （2015）文字認識ニューラル言語モデル
  • TLDR ：文字レベルの情報を採用できる畳み込みニューラルネットワークを使用して、単語レベルのLSTMシステムを使用してParを実行する言語モデルを提案しています。
• （2016）言語モデリングの限界の調査
  • TLDR ：さまざまなテクニックを使用し、10億語のベンチマークでSOTAを大幅に実行する深い学習を使用して、メガ言語モデルシステムを導入します。
• （2018）深い文脈化された単語表現？
  • TLDR ：このペーパーでは、深い双方向LSTM言語モデルの中間表現から学んだ単語埋め込みの非常に強力なコレクションであるElmoを紹介します。 6つの多様なNLPタスクでSOTAを達成しました。
• （2018）バート：言語理解のための深い双方向変圧器の事前訓練
  • TLDR ：2018年の最も重要な論文の1つは、言語モデリングを使用して事前に処理された強力なアーキテクチャをBertに導入し、その後、他のドメイン固有のタスクに効果的に転送されます。
• （2019）XLNET：言語理解のための一般化された自己回帰前の事前化
  • TLDR ：Factorization順序のすべての順列における予想される尤度を最大化することによりBERTを改善する一般化された自己回帰前のメソッド。

Miscellanea

• （1997）長期記憶
  • TLDR ：現代のニューラルネットワークベースのNLPの基礎であるLSTM Recurrentユニットを紹介します
• （2000）情報抽出とセグメンテーションのための最大エントロピーマルコフモデル
  • TLDR ：クラシックNLPで一般的に使用されるML技術である情報抽出のためのマルコフエントロピーマルコフモデルを導入します。
• （2010）頻度から意味へ：セマンティクスのベクトル空間モデル
  • TLDR ：テキストのセマンティクスを学習するための既存のベクトル空間モデルの素晴らしい調査。
• （2012）条件付きランダムフィールドの紹介
  • TLDR ：一般的に使用されるシーケンスラベルモデルである条件付きランダムフィールドの素晴らしい、詳細な概要。
• （2013）単語とフレーズの分散表現とその構成性
  • TLDRは、過去5年間の基本的にすべてのNLPアーキテクチャで単語の埋め込みを初期化するために一般的に使用されてきた分散ベクトル表現のコレクションであるWord2Vecを導入しました。 ？
• （2014）グローブ：単語表現のためのグローバルベクター？
  • TLDR ：NLPモデルのすべてのフレーバーにわたって最も一般的に使用される前提条件の埋め込み技術の1つであるグローブワードエンミングを紹介します
• （2014）数えないで、予測してください！コンテキストカウントとコンテキスト予測セマンティックベクトルの体系的な比較
  • TLDR ：コンテキスト予測分布セマンティクスがカウントベースの手法よりも優れていることを示す重要な論文。
• （2015）単語の埋め込みから学んだ教訓との分布類似性の向上
  • TLDR ：特定の設計の選択と、ニューラルネットワークベースの埋め込み方法のパフォーマンスに匹敵するハイパーパラメーターの最適化により、従来の分布セマンティクス技術を強化できることを実証しています。
• （2018）テキスト分類のためのユニバーサル言語モデルの微調整
  • TLDR ：テキスト分類タスクに効果的に転送できる微調整言語モデル向けの素敵なテクニックのスモルガスボードを提供します。
• （2019）説明された類推：単語の埋め込みの理解に向けて
  • TLDR ：現代の単語埋め込みの言い換え特性のいくつかを理解するための数学的な形式を提供する非常に素晴らしい仕事。