Deep Generative Models for Natural Language Processing

DGMS 4 NLP。自然言語処理のための深い生成モデル。ロードマップ。

Yao Fu、エジンバラ大学、[email protected]

**更新**：GPTはどのようにその能力を獲得しますか？言語モデルの緊急能力をソースに追跡します

**更新**：言語モデルの緊急能力を詳しく見る

**更新**：大規模な言語モデル

**更新**：長距離依存関係。 S4が長いシーケンスで優れている理由：オンライン関数近似でシーケンスを思い出す

** todo 1 **：キャリブレーション;プロンプト;長距離変圧器;状態空間モデル

** todo 2 **：マトリックスの因数分解と単語の埋め込み。カーネル;ガウスプロセス

** TODO 3 **：推論とRLの関係。

---

導入

プレリュード

（2019年初頭に書かれ、コロンビアでのDGMセミナーから生まれました）

なぜ深い生成モデルが必要なのですか？言語を生成する基本的な要因を学びたいからです。人間の言語には豊富な潜在要因が含まれており、連続的な要因は感情、意図、その他である可能性があります。離散/構造的要因は、POS/ nerタグまたは構文の木である可能性があります。それらの多くは、ほとんどの場合と同様に潜在的であり、文を観察するだけです。また、生成的です。人間は、全体的なアイデア、現在の感情、構文、および名前を付けることができない、またはすべてのものに基づいて言語を作成する必要があります。

統計的に原則的な方法で言語の生成プロセスをモデル化する方法は？ラベルがあるときに明示的な監督信号を組み込むことができる柔軟なフレームワークを作成したり、ラベルがないが他の事前の知識がある場合に遠い監督や論理/統計的制約を追加したり、ラベルも事前にもないときに最も意味のあるものを推測することができますか？数学的で確率的でありながら、高度な神経アーキテクチャのモデリング力を活用する可能性はありますか？ DGMにより、これらの目標を達成できます。

旅を始めましょう。

年表

• 2013：vae
• 2014年：ガン;シーケンスへのシーケンス。注意メカニズム
• 2015：フローの正規化。侵害モデル
• 2016：Gumbel-Softmax; Googleのニューラル機械翻訳システム（GNMT）
• 2017：トランス。エルモ
• 2018：バート
• 2019年：プロービングと胸郭。 GPT2
• 2020：GPT3;対照学習;構成一般化;拡散モデル
• 2021：プロンプト;スコアベースの生成モデル。
• 2022：国家特別モデル

コンテンツの表

• 導入
  • プレリュード
  • 年表
• コンテンツの表
• リソース
  • DGMセミナー
  • コース
  • 本
• NLP側
  • 世代
  • デコードと検索、一般
  • 制約付きデコード
  • 非自動性脱出
  • 事前に処理された言語モデルからのデコード
  • 構造化された予測
  • 構文
  • セマンティクス
  • 文法誘導
  • 構成性
• ML側
  • sampligメソッド
  • 変分推論、vi
  • vaes
  • 再評価
  • ガン
  • 流れ
  • スコアベースの生成モデル
  • 拡散モデル
• 高度なトピック
  • ニューラルアーキテクチャ
    • RNNS
    • トランス
    • 言語モデルの事前トレーニング
    • ニューラルネットワークの学習性
    • 長距離トランス
    • 国家特別モデル
  • 大きな言語モデル
    • 大規模な言語モデルを実行するためのソリューションとフレームワーク
    • 大規模な言語モデルのリスト
    • 緊急能力
  • 最適化
    • 勾配推定
    • 離散構造
  • 推論
    • 効率的な推論
    • 事後正規化
  • ジオメトリ
  • ランダム化
  • 一般化されたトーリー
  • 表現
    • 情報理論
    • 解体と解釈可能性
    • 不変
  • 分析と批評家

引用：

 @article{yao2019DGM4NLP,
  title   = "Deep Generative Models for Natual Language Processing",
  author  = "Yao Fu",
  year    = "2019",
  url     = "https://github.com/FranxYao/Deep-Generative-Models-for-Natural-Language-Processing"
}

リソース

• NLPの変分推論と生成モデルの書き方：レシピ。これは、初心者がNLPのVAEに関する論文を書いていることに強く提案されています。

• 自然言語の深い潜在変数モデルに関するチュートリアル（リンク）、EMNLP 18

  • ユン・キム、サム・ワイズマン、アレクサンダー・M・ラッシュ、ハバード

• NLPの潜在構造モデル。 ACL 2019チュートリアルリンク

  • アンドレ・マルティンズ、Tsvetomila Mihaylova、Nikita Nangia、Vlad Niculae。

DGMセミナー

• コロンビア統計8201-ジョン・カニンガム著ディープ生成モデル

• スタンフォードCS 236-ステファノ・エルモンによる深い生成モデル

• U Toronto CS 2541-微分可能な推論と生成モデル、CS 2547学習離散潜在構造、CSC 2547 2019年秋：検索の学習。 David Duvenaudによる

• UトロントSTA 4273 2021年冬 - 期待を最小限に抑える。クリス・マディソンによる

• Berkeley CS294-158-監視されていない深い学習。ピーターアブビールによって

• Columbia STCS 8101-表現学習：確率論的な視点。 David Bleiによる

• スタンフォードCS324-大規模な言語モデル。 Percy Liang、Tatsunori Hashimoto、Christopher Re

• UトロントCSC2541-ニューラルネットトレーニングダイナミクス。ロジャー・グロスによる。

コース

DGMSの資金は、確率的グラフィカルモデルに基づいて構築されています。そのため、次のリソースをご覧ください

• ブレイのグラフィカルモデルの基礎コース、コロンビアの統計6701（リンク）

  • 確率的モデリング、グラフィカルモデル、および近似推論の基礎。

• Xingの確率的グラフィカルモデル、10-708 CMU（リンク）

  • 豊富な素材を備えた本当に重いコース。
  • 合計5つのモジュール：正確な推論、近似推論、DGM、補強学習、ノンパラメトリック。
  • すべての講義ノート、Vedio録音、および宿題はオープンソースです。

• コリンズの自然言語加工、コロンビアの4995（リンク）

  • 構造化されたモデルの多くの推論方法が導入されています。コリンズのホームページからの関連メモもご覧ください
  • また、Bilibiliをチェックアウトします

本

• パターン認識と機械学習。クリストファー・M・ビショップ。 2006年

  • 確率的に最も古典的な教科書
  • この本の私自身の理解によれば、核となる部分は、セクション8-13、特にセクション10でなければなりません。これは、変分推論を導入するセクションであるためです。

• 機械学習：確率的視点。ケビンP.マーフィー。 2012年

  • PRML Bishopの本と比較して、この本は、さまざまなグラフィカルモデルと推論方法のための超詳細なハンドブックとして使用できます。

• グラフィカルモデル、指数ファミリ、および変分推論。 2008年

  • マーティンJ.ウェインライトとマイケルI.ジョーダン

• 言語構造予測。 2011年

  • ノア・スミス

• 構文プロセス。 2000

  • マーク・スティードマン

---

NLP側

世代

• 連続空間から文を生成する、conll 15

  • サミュエル・R・ボウマン、ルーク・ヴィリニス、オリオール・ヴィンヴィルズ、アンドリュー・M・ダイ、ラファル・ヨゼフォヴィッツ、サミー・ベンギオ

• テキスト処理のための神経変動推論、ICML 16

  • Yishu Miao、Lei Yu、Phil Blunsom、Deepmind

• テキスト生成のためのニューラルテンプレートの学習。 EMNLP 2018

  • サム・ワイズマン、スチュアート・M・シーバー、アレクサンダー・ラッシュ。ハバード

• テキスト生成のための残留エネルギーベースのモデル。 ICLR 20

  • Yuntian Deng、Anton Bakhtin、Myle Ott、Arthur Szlam、Marc 'Aurelio ranzato。ハバードとフェア

• 潜在的な言葉の袋で言い換えます。 Neurips 2019。

  • ヤオ・フー、ヤンソン・フェン、ジョン・P・カニンガム。コロンビア

デコードと検索、一般

• FairSeqデコードライブラリ。 [github]

• コントロールベルニューラルテキスト生成[lil'log]

• ベストファーストビーム検索。 TACL 2020

  • クララ・マイスター、ティム・ヴィエイラ、ライアン・コッテル

• 神経テキストの変性の奇妙なケース。 ICLR 2020

  • Ari Holtzman、Jan Buys、Li Du、Maxwell Forbes、Yejin Choi

• 条件付き言語モデルからの多様なデコード方法の比較。 ACL 2019

  • Daphne Ippolito、Reno Kriz、Maria Kustikova、Joa

• 確率的ビームとそれらを見つける場所：置換せずにサンプリングシーケンスのガンベルトップKトリック。 ICML 19

  • Wouter Kool、Herke Van Hoof、Max Welling

• 条件付きポアソン確率的ビーム検索。 EMNLP 2021

  • クララ・マイスター、アフラ・アミニ、ティム・ヴィエイラ、ライアン・コッテル

• 格子を使用したテキスト生成のための大規模なデコード。 2021

  • Jiacheng XuとGreg Durrett

制約付きデコード

• グリッドビーム検索を使用したシーケンス生成用の字句的に制約されたデコード。 ACL 2017

  • クリス・ホカンプ、Qun Liu

• 神経機械翻訳のための動的ビーム割り当てによる高速字句制約のデコード。 NAACL 2018

  • マット・ポスト、デビッド・ヴィラー

• 翻訳と単一言語の書き換えのための字句制約のデコードを改善しました。 NAACL 2019

  • J.エドワード・フー、フーダ・カイラッラー、ライアン・カルキン、パトリック・シア、トンフェイ・チェン、マット・ポスト、ベンジャミン・ヴァン・デュルメ

• 神経機械翻訳における継続的な最適化としてのデコードに向けて。 EMNLP 2017

  • Cong Duy Vu Hoang、Gholamreza Haffari、Trevor Cohn。

• 勾配誘導装飾されていない語彙的に制約されたテキスト生成。 EMNLP 2020

  • レイシャ

• 複数の制約を伴う継続的な最適化としての制御されたテキスト生成。 2021

  • Sachin Kumar、Eric Malmi、Aliaksei Severyn、Yulia Tsvetkov

• 神経学的解読：（ UN）述語論理制約を備えた監督された神経テキスト生成。 NAACL 2021

  • Ximing Lu、Peter West、Rowan Zellers、Ronan Le Bras、Chandra Bhagavatula、Yejin Choi

• 神経学的A*エスクデコード：Lookahead Heuristicsを使用した制約テキスト生成。 2021

  • Ximing Lu、Sean Welleck、Peter West、Liwei Jiang、Jungo Kasai、Daniel Khashabi、Ronan Le Bras、Lianhui Qin、Youngjae Yu、Rowan Zellers、Noah A. Smith、Yejin Choi

• コールドデコード：ランジュビンダイナミクスによるエネルギーベースの制約テキスト生成。 2022

  • Lianhui Qin、Sean Welleck、Daniel Khashabi、Yejin Choi

非自動性脱出

注：私はこの章を完全に説明していません。提案をしてください！

• 非自動性ニューラルマシンの翻訳。 ICLR 2018

  • Jiatao Gu、James Bradbury、Caiming Xiong、Victor Ok Li、Richard Socher

• 完全に非自動性のあるニューラル機械翻訳：貿易のトリック。

  • Jiatao Gu、Xiang Kong。

• 離散潜在変数を使用したシーケンスモデルでの高速デコード。 ICML 2021

  • ukasz Kaiser、Aurko Roy、Ashish Vaswani、Niki Parmar、Samy Bengio、Jakob Uszkoreit、Noam Shazeer

• マルコフ変圧器を使用したカスケードテキスト生成。 arxiv 20

  • Yuntian DengとAlexander Rush

• 非自動性神経機械翻訳のための視線変圧器。 ACL 2021

  • Lihua Qian、Hao Zhou、Yu Bao、Mingxuan Wang、Lin Qiu、Weinan Zhang、Yong Yu、Lei Li
  • これは現在、bytedance内に展開されています

事前に処理された言語モデルからのデコード

TODO：それについてもっと

• 迅速な論文、thunlp（リンク）

• CTRL：制御可能な生成のための条件付きトランス語モデル。 ARXIV 2019

  • Nitish Shirish Keskar、Bryan McCann、Lav R. Varshney、Caiming Xiong、Richard Socher

• 言語モデルをプラグアンドプレイ：制御されたテキスト生成への簡単なアプローチ

  • スマンス・ダトリ、アンドレア・マドット、ジャニス・ラン、ジェーン・ハング、エリック・フランク、ピエロ・モリノ、ジェイソン・ヨシンスキー、ロザンヌ・リュー

構造化された予測

• トーチ構造：深い構造化された予測ライブラリ。 github、紙、ドキュメント

  • アレクサンダー・M・ラッシュ。コーネル大学

• 条件付きランダムフィールドの紹介。 2012年

  • チャールズ・サットンとアンドリュー・マッカラム。

• インサイドアウトサイドとフォワードバックワードアルゴリズムは、バックプロップです。 2016年。

  • ジェイソン・アイズナー

• フェンチェルヨンの損失による学習。 JMLR 2019

  • Mathieu Blondel、AndréFTMartins、Vlad Niculae

• 構造化された注意ネットワーク。 ICLR 2017

  • Yoon Kim、Carl Denton、Luong Hoang、Alexander M. Rush

• 構造化された予測と注意のための微分可能な動的プログラミング。 ICML 2018

  • アーサー・メンシュとマシュー・ブロンデル。

構文

• 再発性ニューラルネットワーク文法。 NAACL 16

  • クリス・ダイアー、アディグナ・クンコロ、ミゲル・バレステロス、ノア・スミス。

• 監視されていない再発性ニューラルネットワーク文法、NAACL 19

  • Yoon Kin、Alexander Rush、Lei Yu、Adhiguna Kuncoro、Chris Dyer、Gabor Melis

• 微分可能なタートゥルとパルス：構造化された変動自動エンコーダー、ICLR 19を使用したセミスパイブ化された解析

  • カイオ・コロ、イヴァン・ティトフ、エジンバラ

セマンティクス

• 構文プロセス。 2020

  • マーク・スティードマン

• セマンティックロールラベル付けのための言語的に情報に基づいた自己告発。 EMNLP 2018 Best Paper Award

  • エマ・ストレスベル、パトリック・ヴェルガ、ダニエル・アンダー、デビッド・ワイス、アンドリュー・マッカラム。 Umass AmherstとGoogle AI言語

• セミスパイブ化されたシーケンシャル自動エンコーダーを使用したセマンティック解析。 2016年

  • トマス・コシスキー、ガボール・メリス、エドワード・グレフェンステット、クリス・ダイアー、ワン・リン、フィル・ブルンソン、カール・モリッツ・ヘルマン

文法誘導

• 文法誘導と教師なし学習、ペーパーリスト。 （リンク）
  • ヤオフー

構成性

• NLPの組成一般化。ペーパーリスト

  • ヤオフー

• 体系性のない一般化：シーケンスからシーケンスの再発ネットワークの構成スキルについて。 ICML 2019

  • ブレンデン湖とマルコ・バローニ

• テキスト間評価方法論の改善。 ACL 2018

  • キャサリンファインガンドラック、ジョナサンK.クマーフェルド、リーチャン、カルティックラマナタン、セシュサダシバム、ルイチャン、ドラゴミールラデフ

---

ML側

sampligメソッド

• マルコフチェーンモンテカルロ法を使用した確率的推論。 1993年

  • ラドフォードMニール

• シーケンシャルモンテカルロの要素（リンク）

  • クリスチャン・A・ネッセス、フレドリック・リンドステン、トーマス・B・シェーン

• ハミルトニアンモンテカルロ（リンク）の概念的紹介

  • マイケル・ベタンコート

• 候補サンプリング（リンク）

  • Google Tensorflowブログ

• ノイズコンストラシスティブ推定：非正規化された統計モデルの新しい推定原則。 Aistata 2010

  • マイケル・ガットマン、ハイバリネン。ヘルシンキ大学

• A*サンプリング。 NIPS 2014 Best Paper Award

  • クリス・J・マディソン、ダニエル・ターロー、トム・ミンカ。トロント大学とMSR

変分推論、vi

• ケンブリッジ変異推論読書グループ（リンク）

  • サム・パワー。ケンブリッジ大学

• 変動推論：統計学者のレビュー。

  • David M. Blei、Alp Kucukelbir、Jon D. McAuliffe。

• 確率的変異推論

  • マシュー・D・ホフマン、デビッド・M・ブレイ、チョン・ワン、ジョン・ペイズリー

• 確率的検索による変分ベイジアン推論。 ICML 12

  • ジョン・ペイズリー、デビッド・ブレイ、マイケル・ジョーダン。バークレーとプリンストン

vaes

• 自動エンコード変異ベイズ、ICLR 14

  • Diederik P. Kingma、Max Welling

• Beta-Vae：制約された変動フレームワークを使用して、基本的な視覚概念を学習します。 ICLR 2017

  • Irina Higgins、Loic Matthey、Arka Pal、Christopher Burgess、Xavier Glorot、Matthew Botvinick、Shakir Mohamed、Alexander Lerchner

• 重要な加重自動エンコーダー。 ICLR 2015

  • Yuri Burda、Roger Grosse、Ruslan Salakhutdinov

• 深い生成モデルにおける確率的バックプロパゲーションと近似推論。 ICML 14

  • ダニロ・ジメネス・レゼンデ、シャキール・モハメド、ダーン・ウィアスラ
  • 修復w。ディープガウスモデル。

• 半層化変分自動エンコーダー、ICML 18

  • Yoon Kim、Sam Wiseman、Andrew C. Miller、David Sontag、Alexander M. Rush、Havard

• 敵対的に正規化された自動エンコーダー、ICML 18

  • ジェイク（ジュンボ）Zhao、Yoon Kim、Kelly Zhang、Alexander M. Rush、Yann Lecun。

再評価

修復の詳細：ガウス混合物、順列マトリックス、および拒絶サンプラー（ガンマとディリクレ）を再分析する。

• 混合密度分布を介した確率的バックプロパゲーション、arxiv 16

  • アレックスグレイブス

• 受け入れrefictionサンプリングアルゴリズムを介した勾配の勾配。 Aistats 2017

  • クリスチャン・A・ネッセス、フランシスコ・ジュニア・ルイス、スコット・W・リンダーマン、デビッド・M・ブレイ

• 暗黙的なリダメータ化勾配。 Neurips 2018。

  • マイケル・フィゲルノフ、シャキール・モハメド、アンドリ・ミニ

• Gumbel-SoftMaxによるカテゴリの再評価。 ICLR 2017

  • エリック・チャン、シクシアン・グ、ベン・プール

• コンクリート分布：離散ランダム変数の連続緩和。 ICLR 2017

  • クリス・J・マディソン、アンドリイ・ミニ、そしてYee Whye Teh

• 反転性ガウスの再評価：ガンベルソフトマックスの再訪。 2020

  • Andres Potapczynski、Gabriel Loaiza-Ganem、John P. Cunningham

• 連続的な緩和によるレパラメテロ化可能なサブセットサンプリング。 IJCAI 2019

  • サンマイケルシーとステファノエルモン

ガン

• 生成敵のネットワーク、NIPS 14

  • Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville、Yoshua Bengio

• 生成敵のネットワークをトレーニングするための原則的な方法に向けて、ICLR 2017

  • マーティン・アルジョフスキーとレオン・ボトウ

• ワッサースタインガン

  • Martin Arjovsky、Soumith Chintala、LéonBottou

• Infogan：生成的敵対網を最大化する情報による解釈可能な表現学習。 NIPS 2016

  • Xi Chen、Yan Duan、Rein Houthooft、John Schulman、Ilya Sutskever、Pieter Abbeel。 UCバークレー。 Openai

• 敵対的に学んだ推論。 ICLR 2017

  • Vincent Dumoulin、Ishmael Belghazi、Ben Poole、Olivier Mastropietro、Alex Lamb、Martin Arjovsky、Aaron Courville

流れ

• Lilのログから、フローベースの深い生成モデル

• 正規化フローを伴う変動推論、ICML 15

  • ダニロ・ジメネス・レゼンデ、シャキール・モハメド

• 正規化フローで言語について学ぶ

  • グラハム・ノイビグ、CMU、スライド

• 逆自己回帰流による変分推論の改善

  • Diederik P Kingma、Tim Salimans、Rafal Jozefowicz、Xi Chen、Ilya Sutskever、Max Welling

• 実際のNVPを使用した密度推定。 ICLR 17

  • ローラン・ディン、ジャスカ・ソール・ディックスタイン、サミー・ベンギオ

• 可逆的な神経突起を伴う構文構造の教師なし学習。 EMNLP 2018

  • Junxian He、Graham Neubig、Taylor Berg-Kirkpatrick

• 離散シーケンスの潜在的正規化フロー。 ICML 2019。

  • ザカリー・M・ジーグラーとアレクサンダー・M・ラッシュ

• 離散フロー：離散データの可逆生成モデル。 2019年

  • ダスティン・トラン、キーオン・ヴァファ、クマール・クリシュナ・アグラワル、ローラン・ディン、ベン・プール

• FlowSeq：生成フローを伴う非自動性条件シーケンス生成。 EMNLP 2019

  • Xuezhe Ma、Chunting Zhou、Xian Li、Graham Neubig、Eduard Hovy

• 正規化フローを備えた分散ニューラル機械翻訳。 ACL 2020

  • Hendra Setiawan、Matthias Sperber、Udhay Nallasamy、Matthias Paulik。りんご

• 事前に訓練された言語モデルからの文の埋め込み。 EMNLP 2020

  • Bohan Li、Hao Zhou、Junxian HE、Mingxuan Wang、Yiming Yang、Lei Li

スコアベースの生成モデル

FY：スコアベースの生成モデルと拡散モデルを離散シーケンスに使用する方法を確認する必要があります

• データ分布の勾配を推定することによる生成モデリング。ブログ2021

  • ヤンソング

• スコアベースの生成モデリングペーパー

  • オックスフォード大学の研究者

• データ分布の勾配を推定することによる生成モデリング。 Neurips 2019

  • ヤン・ソング、ステファノ・エルモン

拡散モデル

• 拡散モデルとは何ですか？ 2021

  • リリアン・ウェン

• 素晴らしい拡散モデル

  • Heijoon Koo

• 非平衡熱力学を使用した深い教師の学習。 2015年

  • Jascha Sohl-Dickstein、Eric A. Weiss、Niru Maheswaranathan、Surya Ganguli

• 拡散確率モデルを除去します。ニューリップ2020

  • Jonathan Ho、Ajay Jain、Pieter Abbeel

• Argmaxの流れと多項拡散：学習カテゴリー分布。ニューリップ2021

  • Emiel Hoogeboom、Didrik Nielsen、Priyank Jaini、PatrickForré、Max Welling

• 個別の状態空間における構造化された拡散モデル。ニューリップ2021

  • ジェイコブ・オースティン、ダニエル・D・ジョンソン、ジョナサン・ホー、ダニエル・ターロー、リアンヌ・ヴァン・デン・バーグ

• 自己回帰拡散モデル。 ICLR 2022

  • エミエル・フーズブーム、アレクセイ・A・グリッツェンコ、ジャスミン・バスティング、ベン・プール、リアン・ヴァン・デン・バーグ、ティム・サリマンズ

• 拡散LMは、制御可能なテキスト生成を改善します。 2022

  • Xiang Lisa Li、John Thickstun、Ishaan Gulrajani、Percy Liang、Tatsunori B. Hashimoto

• 深い言語理解を備えたフォトリアリックなテキストから画像間拡散モデル。 2022

  • チトワン・サハリア、ウィリアム・チャン、サウラブ・サクセナ、ララ・リー、ジェイ・ファン、エミリー・デントン、セイド・カミヤル・セイエド・ガセミプール、ブルク・カラゴル・アヤン、S。

---

高度なトピック

ニューラルアーキテクチャ

RNNS

• 注文ニューロン：再発性ニューラルネットワークに構造化されたツリーを統合します

  • Yikang Shen、Shawn Tan、Alessandro Sordoni、Aaron Courville。ミラ、MSR

• RNNは、最適なメモリを備えた境界階層言語を生成できます

  • ジョン・ヒューイット、マイケル・ハーン、スーリヤ・ガンガリ、パーシー・リアン、クリストファー・D・マニング

トランス

• マルチヘッドの自己告発の分析：専門のヘッドは重い持ち上げを行い、残りは剪定することができます。 ACL 2019

  • Elena Voita、David Talbot、Fedor Moiseev、Rico Sennrich、Ivan Titov

• 神経シーケンスモデルにおける自己関節の理論的制限。 TACL 2019

  • マイケル・ハーン

• パフォーマーとの注意を再考します。 2020

  • Krzysztof Choromanski、Valerii Likhosherstov、David Dohan、Xingyou Song、Andreea Gane、Tamas Sarlos、Peter Hawkins、Jared Mohiuddin、Lukasz Kaiser、David Belanger、Lucy Colwell、Adrian Wellerer

言語モデルの事前トレーニング

• thunlp：事前に訓練された言語モデルペーパーリスト（リンク）

  • Xiaozhi WangとZhengyan Zhang、Tsinghua大学

• Tomohide ShibataのBert関連の論文

ニューラルネットワークの学習性

• ニューラルネットワークの学習性。ヤオフー

長距離トランス

• 長距離アリーナ：効率的な変圧器のベンチマーク
  • Yi Tay、Mostafa Dehghani、Samira Abnar、Yikang Shen、Dara Bahri、Philip Pham、Jinfeng Rao、Liu Yang、Sebastian Ruder、Donald Metzler

国家特別モデル

• Hippo：最適な多項式投影を伴う再発メモリ。ニューリップ2020

  • アルバート・グ、トリ・ダオ、ステファノ・エルモン、アトリ・ルドラ、クリストファー・レ

• 再発性、畳み込み、および連続時間モデルと線形状態空間層を組み合わせます。ニューリップ2021

  • アルバート・グ、イジーズ・ジョンソン、カラン・ゴエル、カレド・サーブ、トリ・ダオ、アトリ・ルドラ、クリストファー・レ

• 構造化された状態空間で長いシーケンスを効率的にモデリングします。 ICLR 2022

  • アルバート・グ、カラン・ゴエル、クリストファー・レ

• S4が長いシーケンスで優れている理由：オンライン関数近似でシーケンスを思い出します。 2022

  • ヤオフー

大きな言語モデル

大規模な言語モデルを実行するためのソリューションとフレームワーク

• ALPA（合計350 GB GPUメモリ）リンクを使用したOPT-175Bのサービング

大規模な言語モデルのリスト

• GPT3（175b）。言語モデルは、少ないショット学習者です。 2020年5月

• Megatron-Turing NLG（530b）。 DeepspeedとMegatronを使用して、大規模な生成言語モデルであるMegatron-Turing NLG 530Bをトレーニングします。 2022年1月

• ラムダ（137b）。 Lamda：ダイアログアプリケーションの言語モデル。 2022年1月

• Gopher（280b）。言語モデルのスケーリング：トレーニングGopherからの方法、分析、洞察。 2021年12月

• チンチラ（70b）。 Training Compute-Optimal Large Languals Models。 2022年3月

• パーム（540b）。 Palm：経路を使用した言語モデリングのスケーリング。 2022年4月

• OPT（175b）。 OPT：事前に訓練されたトランス語モデルを開きます。 2022年5月

• Bloom（176b）：BigScienceの大規模なオープンサイエンスオープンアクセス多言語言語モデル。 2022年5月

• BlenderBot 3（175b）：責任を持って関与することを継続的に学習する展開された会話エージェント。 2022年8月

緊急能力

• 神経言語モデルのスケーリング法則。 2020

  • Jared Kaplan、Sam McCandlish、Tom Henighan、Tom B. Brown、Benjamin Chess、Rewon Child、Scott Gray、Alec Radford、Jeffrey Wu、Dario Amodei

• 大規模な言語モデルの緊急能力。 2022

  • ジェイソン・ウェイ、Yi Tay、Rishi Bommasani、Colin Raffel、Barret Zoph、Sebastian Borgeaud、Dani Yogatama、Maarten Bosma、Denny Zhou、Donald Metzler、エドH.

最適化

勾配推定

• 期待を最小限に抑える。クリス・マディソン

• 機械学習におけるモンテカルロ勾配推定

  • Schakir Mohamed、Mihaela Rosca、Michael Figurnov、Andriy Mnih。 deepmind

• モンテカルロの目的に対する変動推論。 ICML 16

  • Andriy Mnih、Danilo J. Rezende。 deepmind

• 鉄筋：離散潜在変数モデルの低変数、偏りのない勾配推定値。 NIPS 17

  • ジョージ・タッカー、アンドリー・Mnih、クリス・J・マディソン、ディーターリッヒ・ローソン、ジャスカ・ソール・ディックスタイン。 Google Brain、Deepmind、Oxford

• voidによるバックプロパゲーション：ブラックボックス勾配推定のコントロールの最適化。 ICLR 18

  • ウィル・グラトウォル、ダミ・チョイ、Yuhuai Wu、Geoffrey Roeder、David Duvenaud。 Uトロントとベクター研究所

• Spigotを使用して構造化されたArgmaxを介してバックプロパギング。 ACL 2018ベストペーパー名誉ある言及。

  • ハオペン、サムトムソン、ノアA.スミス

• スピゴットのメカニズムを理解する：潜在的な構造学習のためのサロゲートグラデーション。 EMNLP 2020

  • Tsvetomila Mihaylova、Vlad Niculae、およびAndreのFt Martins

離散構造

• 微分可能な摂動オプティマイザーを使用した学習。ニューリップ2020

  • クエンティン・バーセット、マシュー・ブロンデル、オリビエ・テブール、マルコ・クトゥリ、ジャン・フィリップ・ベール、フランシス・バッハ

• 確率的ソフトマックストリックによる勾配推定。ニューリップ2020

  • マックス・B・パウルス、ダミ・チェ、ダニエル・ターロー、アンドレアス・クラウス、クリス・J・マディソン。

• 構造化された予測と注意のための微分可能な動的プログラミング。 ICML 18

  • アーサー・メンシュ、マシュー・ブロンデル。 inRia jurietalおよびntt通信科学研究所

• 連続的な緩和によるネットワークの並べ替えの確率的最適化

  • Aditya Grover、Eric Wang、Aaron Zweig、Stefano Ermon

• 最適な輸送を使用した微分ランクと並べ替え

  • Guy Lorberbom、Andreea Gane、Tommi Jaakkola、Tamir Hazan

• 変動順列推論のためにBirkhoffポリトープを修復します。 Aistats 2018

  • スコット・W・リンダーマン、ゴンザロ・E・メナ、ハル・クーパー、リアム・パニンスキー、ジョン・P・カニンガム。

• まばらで構造化された神経注意のための正則化されたフレームワーク。 Neurips 2017

• SPARSEMAP：微分可能なスパース構造推論。 ICML 2018

推論

• 高度な推論のトピック。 Yingzhen Li。 （リンク）

効率的な推論

• 部分的に観察されたTREECRFを使用して、ネストされた名前付きエンティティ認識。 AAAI 2021

  • Yao Fu、Chuanqi Tan、Mosha Chen、Songfang Huang、Fei Huang

• rao-lackwellized分離分布のための確率勾配。 ICML 2019。

  • Runjing Liu、Jeffrey Regier、Nilesh Tripuraneni、Michael I. Jordan、Jon McAuliffe

• スパースを介した離散および構造化された潜在変数の効率的な疎外。ニューリップ2020

  • ゴンサロM.コレイア、Vlad Niculae、Wilker Aziz、AndréFTMartins

事後正規化

• 構造化された潜在変数モデルの事後正規化。 JMLR 2010

  • クズマン・ガンチェフ、ジョアン・グラサ、ジェニファー・ギレンウォーター、ベン・タッカール。

• ブラックボックス生成の事後制御。 2019年

  • Xiang Lisa LiとAlexander M. Rush。

• 神経変異遷移ベースのパーサーによる依存性文法誘導。 AAAI 2019

  • ボーエン・リー、ジアンペン・チェン、ヤン・リュー、フランク・ケラー

ジオメトリ

• （中国語）微分几何与拓扑学简明教程

  • 米先珂、福明珂

• ベイズのみがマニホールドを学習する必要があります（データからの幾何学的構造の差が推定されます）。 ARXIV 2018

  • ソレン・ハウバーグ

• 深い生成モデルのリーマニアの幾何学。 CVPRW 2018

  • ハングシャオ、アビシェククマール、P。トーマスフレッチャー

• ディープ生成画像モデルのジオメトリとそのアプリケーション。 ICLR 2021

  • Binxu WangとCarlos R. Ponce

• 深い生成モデルのメトリック。 Aistats 2017

  • Nutan Chen、Alexej Klushyn、Richard Kurle、Xueyan Jiang、Justin Bayer、Patrick van der Smagt

• 測地線測定スペースにおけるMIN-MAX最適化のための1次アルゴリズム。 2022

  • マイケル・I・ジョーダン、ティアニ・リン、エマニウイル・V・ヴラタキス・グラグコウニス

ランダム化

• 大規模なカーネルマシンのランダム機能。 Neurips 2007

  • アリ・ラヒミ、ベンジャミン・レッチ

• ランダム性のある構造を見つける：おおよそのマトリックス分解を構築するための確率的アルゴリズム。 SIAM 2011

  • Nathan Halko、Gunnar Per-Gunnar Martinsson、Joel A. Tropp

• ランダム化された望遠鏡の合計によるループと制限の効率的な最適化。 ICML 2019

  • アレックス・ビートソン、ライアン・P・アダムス

• 伸縮密度比推定の推定。ニューリップ2020

  • ベンジャミンロードス、カイXU、マイケルU.ガットマン

• ランダム化された切り捨てによるバイアスフリーのスケーラブルなガウスプロセス。 ICML 2021

  • Andres Potapczynski、Luhuan Wu、Dan Biderman、Geoff Pleiss、John P Cunningham

• ランダム化された自動分化。 ICLR 2021

  • デニス・オクタイ、ニック・マクグリヴィー、ジョシュア・アドオール、アレックス・ビートソン、ライアン・P・アダムス

• ランダム化による構造的推論のスケーリング。 2021

  • ヤオ・フー、ジョン・カニンガム、ミレラ・ラパタ

一般化されたトーリー

• CS229T。統計学習理論。 2016年
  • パーシー・リアン

表現

情報理論

• 情報理論の要素。カバーとトーマス。 1991年

• 相互情報の変動境界について。 ICML 2019

  • ベン・プール、シェルジル・オゼア、アーロン・ヴァン・デン・オード、アレクサンダー・A・アレミ、ジョージ・タッカー
  • これらすべてのMI変異境界に関する包括的な議論

• 相互情報の推定と最大化による深い表現を学習します。 ICLR 2019

  • R Devon Hjelm、Alex Fedorov、Samuel Lavoie-Marchildon、Karan Grewal、Phil Bachman、Adam Trischler、Yoshua Bengio
  • 異なるMI推定器間の詳細な比較、セクション3.2。

• 鉱山：相互情報神経の推定

  • R Devon Hjelm、Alex Fedorov、Samuel Lavoie-Marchildon、Karan Grewal、Phil Bachman、Adam Trischler、Yoshua Bengio

• 深い変動情報ボトルネック。 ICLR 2017

  • アレクサンダーA.アレミ、イアンフィッシャー、ジョシュアV.ディロン、ケビンマーフィー。 Google Research

解体と解釈可能性

• ベイジアン混合モデルの識別

  • マイケル・ベタンコート

• 変分自動エンコーダーの解き角を解き放つ。 ICML 2019

  • エミール・マシュー、トム・レインフォース、N・シッダールス、イェ・ワクス・ティー

• 監視されていない表現の監視されていない学習における一般的な仮定に挑戦します。 ICML 2019

  • Francesco Locatello、Stefan Bauer、Mario Lucic、GunnarRätsch、Sylvain Gelly、BernhardSchölkopf、Olivier Bachem

不変

• 深い表現における不変性と解き分析の出現

  • アレッサンドロ・アキロとステファノ・ソトー。 UCLA。 JMLR 2018

• 不変リスク最小化

  • Martin Arjovsky、Leon Bottou、Ishaan Gulrajani、David Lopez-Paz。 2019年。

分析と批評家

• 壊れたエルボを修正します。 ICML 2018。

  • アレクサンダー・A・アレミ、ベン・プール、イアン・フィッシャー、ジョシュアV.ディロン、リフA.サウルス、ケビンマーフィー

• よりタイトな変分の境界は必ずしもより良いとは限りません。 ICML 2018

  • トム・レインフォース、アダム・R・コシオレク、トゥアン・アン・ル、クリス・J・マディソン、マクシミリアン・イグル、フランク・ウッド、イー・ワン・ティー

• 連続ベルヌーリ：変分自動エンコーダーの広範なエラーの修正。 Neurips 2019

  • ガブリエル・ロイザ・ガニェムとジョン・P・カニンガム。コロンビア。

• 深い生成モデルは、彼らが知らないことを知っていますか？ ICLR 2019

  • エリック・ナリスニック、松川akihiro、Yee Whye Teh、Dilan Gorur、Balaji Lakshminarayanan

• 深い生成言語モデルの効果的な推定。 ACL 2020

  • Tom PelsmaekerとWilker Aziz。エジンバラ大学とアムステルダム大学

• 深いニューラルネットワークのベイズ後部は本当にどれくらい良いですか？ ICML 2020

  • Florian Wenzel、Kevin Roth、Bastiaan S. Veeling、JakubświąTkowski、Linh Tran、Stephan Mandt、Jasper Snoek、Tim Salimans、Rodolphe Jenatton、Sebastian Nowozinin

• 深いニューラルネットワークにおける寒冷後部の統計理論。 ICLR 2021

  • ローレンス・エイチソン

• 自己回帰モデルの制限とその代替案。 NAACL 2021

  • Chu-Cheng Lin、Aaron Jaech、Xin Li、Matthew R. Gormley、Jason Eisner