nlp papernotes

NLP-Papernotes

作業中のNLP関連の論文、要約、考えを読む。マシン読解力（MRC）、質問回答（QA）、マルチドキュメントMRC、情報レトリバー（IR）およびランキングの専攻。

基本概念

• LSA 、ウィキペディアの参考文献、潜在セマンティック分析の紹介、潜在セマンティック分析によるインデックス、CUHK潜在セマンティックインデックス（LSI）の例、CUHK PPT、スタンフォードNLP IR-Book潜在セマンチックインデックス。
• LDA 、Wikipediaの参照、LDAトピックモデリング：Pythonの説明、トピックモデリング、潜在的なDirichlet割り当て（LDA）、紙の潜在ディリクレアロケーション、潜在的なディリクレアロケーションのガイド、潜在ディリクレアロケーション（LDA）を使用したトピックモデリング（LDA）、GIBBSサンプリング（PITHON）のトピックモデリング。
• SVD 、ウィキペディアの参照、

言語モデル

Tomas Mikolov Google Scholarを訪問して、関連書類を取得します。

他の論文リスト：

• 神経確率論的言語モデル

Bert-Style Models、Summary PPT。

• バート
• xlnet
• structbert
• スパンバート
• センベール
• ロベルタ
• アルバート

MRC＆QA

要約ppt。

ACL 2019

• re3qa
• rankqa

知識蒸留（KD）

KDは、次のブログからのKDの導入にラベルのスムージングに似ています。

• ニューラルネットワーク蒸留器
• より小さく、より速く、より安く、軽い：Distilbertの紹介、Bertの蒸留バージョン
• ニューラルネットを使用して暗い知識を活用する - 知識の蒸留
• 知識の蒸留

マルコさん

MS MARCO LEADERBOARD、いくつかの公開紙モデル、GitHub MSMARCO-MRC-Analysisに書かれています

パッセージ検索

• デュエット：[arxiv]、[ppt]、[notes]
• デュエットV2

オプティマイザ

• アダム・トッド

本棚

• 《深い学習》
• 《学習（中文版）》
• 《機械学習のための数学》
• 《情報検索のためにランク付けすることを学ぶ》
• 《 GDL世代の深い学習》
• 《情報検索の紹介》
• 《word2vec数学理論》
• 《 tensorflow2 深度学习》 [code]