awesome sentence embedding

很棒的句子插入

精心審計的句子和單詞嵌入模型的清單

目錄

• 關於這個倉庫
• 一般框架
• 單詞嵌入
• OOV處理
• 上下文化的單詞嵌入
• 合併方法
• 編碼器
• 評估
• 雜項
• 向量映射
• 文章

關於這個倉庫

• 好吧，有一些很棒的列表用於單詞嵌入和句子嵌入，但所有這些都過時了，更重要的是不完整
• 此存儲庫也不完整，但是我會盡力找到並包括所有鑑定模型的論文
• 這不是一個典型的很棒的列表，因為它有桌子，但我想這還可以，而且比一個巨大的列表更好
• 如果您發現任何錯誤或找到其他紙張或任何東西，請發送拉動請求，並幫助我保持此列表的最新信息
• 享受！

一般框架

• 幾乎所有的句子嵌入都是這樣工作的：
• 給定某種單詞嵌入和可選的編碼器（例如LSTM），他們獲得了上下文化的單詞嵌入。
• 然後，他們定義某種池（可以和上次合併一樣簡單）。
• 基於此，他們要么將其直接用於監督分類任務（例如Infersent），要么生成目標序列（例如跳過thought）。
• 因此，總的來說，我們有許多您從未聽說過的句子嵌入，您可以簡單地意味著對任何單詞嵌入，這是嵌入的句子！

單詞嵌入

• 注意：不必擔心代碼的語言，您幾乎可以總是（除字樣模型除外），只需在您選擇的框架中使用驗證的嵌入式表即可忽略培訓代碼

日期	紙	引文數	培訓代碼	預驗證的模型
-	WebVectors：用於構建矢量語義模型網絡接口的工具包	N/A。	-	rusvectōrēs
2013/01	對向量空間中單詞表示形式的有效估計	999+	c	Word2Vec
2014/12	通過高斯嵌入的單詞表示	221	Cython	-
2014/??	一個用於學習多型單詞嵌入的概率模型	127	DMTK	-
2014/??	基於依賴關係的單詞嵌入	719	C ++	Word2Vecf
2014/??	手套：單詞表示的全局向量	999+	c	手套
2015/06	稀疏的過度單詞矢量表示	129	C ++	-
2015/06	從釋義數據庫到組成解釋模型和背面	3	Theano	段落
2015/06	非分佈單詞矢量表示	68	Python	WordFeat
2015/??	角色和單詞嵌入的聯合學習	195	c	-
2015/??	感官：學習意義的嵌入單詞和關係相似性	249	-	感覺到
2015/??	局部單詞嵌入	292	Cython
2016/02	Swivel：通過注意到缺少的內容來改善嵌入	61	TF	-
2016/03	對語言約束的反合詞向量	232	Python	反貼合（斷裂）
2016/05	混合Dirichlet主題模型和單詞嵌入以製作LDA2VEC	91	連鎖商	-
2016/06	暹羅CBow：優化句子表示的單詞嵌入	166	Theano	暹羅Cbow
2016/06	使用窗口採樣和負面採樣的矩陣分解以改進單詞表示	58	去	Lexvec
2016/07	用子詞信息豐富單詞向量	999+	C ++	fastText
2016/08	概率神經單詞嵌入的形態學先驗	34	Theano	-
2016/11	聯合多任務模型：成長用於多個NLP任務的神經網絡	359	C ++	charngram2vec
2016/12	ConceptNet 5.5：開放的多語言圖形圖	604	Python	numberbatch
2016/??	學習單詞meta插入	58	-	meta-emb（破碎）
2017/02	離線雙語詞向量，正交轉換和倒置的軟詞	336	Python	-
2017/04	多模式單詞分佈	57	TF	Word2GM
2017/05	用於學習層次表示的龐加萊嵌入	413	Pytorch	-
2017/06	上下文編碼是Word2Vec的簡單但強大的擴展	13	Python	-
2017/06	使用單語和跨語性約束的分佈單詞矢量空間的語義專業化	99	TF	吸引力
2017/08	從字符的字形學習中文單詞表示	44	c	-
2017/08	有意義的嵌入	92	Python	感覺圖
2017/09	哈希嵌入有效的單詞表示	25	凱拉斯	-
2017/10	BPEMB：275種語言	91	Gensim	bpemb
2017/11	脊柱：稀疏可解釋的神經嵌入	48	Pytorch	脊椎
2017/??	Aravec：一組阿拉伯語嵌入模型用於阿拉伯語NLP	161	Gensim	阿拉維克
2017/??	NGram2VEC：從NGRAM共發生統計的學習改進的單詞表示形式	25	c	-
2017/??	dict2vec：使用詞彙詞典學習嵌入單詞嵌入	49	C ++	dict2vec
2017/??	中文單詞，字符和細粒度亞字符組件的聯合嵌入	63	c	-
2018/04	雙曲線嵌入的表示權權衡	120	Pytorch	H-MDS
2018/04	改進句子表示的動態元裝置	60	Pytorch	DME/CDME
2018/05	對中國形態和語義關係的類比推理	128	-	中文文字向量
2018/06	多態單詞嵌入的概率fasttext	39	C ++	概率的fastText
2018/09	使用圖形卷積網絡將句法和語義信息合併到單詞嵌入中	3	TF	Syngcn
2018/09	Frage：頻率 - 不合命中的單詞表示	64	Pytorch	-
2018/12	wikipedia2vec：一種用於學習wikipedia單詞和實體的優化工具	17	Cython	Wikipedia2vec
2018/??	方向跳過：明確區分單詞嵌入左右上下文	106	-	中國安裝
2018/??	CW2VEC：學習中文嵌入使用中風n-gram信息	45	C ++	-
2019/02	VCWE：視覺字符增強單詞嵌入	5	Pytorch	VCWE
2019/05	通過遙遠的監督從Twitter學習跨語性嵌入	2	文字	-
2019/08	無監督的角色感知的神經方法和上下文表示學習	5	TF	-
2019/08	VICO：來自視覺共發生的單詞嵌入	7	Pytorch	Vico
2019/11	球形文本嵌入	25	c	-
2019/??	無監督的單詞嵌入從材料科學文獻中捕獲潛在知識	150	Gensim	-

OOV處理

• 刪除oov的話！
• 一個OOV矢量（UNK矢量）
• 使用子詞模型（Ngram，BPE，char）
• Alacarte：la點菜嵌入：廉價但有效的語義特徵向量
• 模仿：使用子字rnns模仿單詞嵌入
• compactreconstruction：基於子詞的單詞嵌入重建

上下文化的單詞嵌入

• 注意：所有的非正式模型都可以加載官方審計的模型

日期	紙	引文數	代碼	預驗證的模型
-	語言模型是無監督的多任務學習者	N/A。	TF Pytorch，TF2.0 凱拉斯	GPT-2（1.17m，1.24m，345m，355m，774m，1558m）
2017/08	在翻譯中學習：上下文化的單詞向量	524	Pytorch 凱拉斯	灣
2018/01	通用語言模型用於文本分類	167	Pytorch	Ulmfit（英語，動物園）
2018/02	深層上下文化的單詞表示	999+	Pytorch TF	Elmo（Allennlp，TF-Hub）
2018/04	有效上下文化表示：序列標籤的語言模型修剪	26	Pytorch	LD-NET
2018/07	邁向更好的UD解析：深層上下文化的單詞嵌入，合奏和樹庫串聯	120	Pytorch	Elmo
2018/08	高級語言模型的直接輸出連接	24	Pytorch	Doc
2018/10	BERT：深層雙向變壓器的預訓練以了解語言理解	999+	TF 凱拉斯 Pytorch，TF2.0 mxnet 槳板 TF 凱拉斯	伯特（Bert，Ernie，Kobert）
2018/??	序列標記的上下文字符串嵌入	486	Pytorch	天賦
2018/??	通過生成的預培訓來提高語言理解	999+	TF 凱拉斯 Pytorch，TF2.0	GPT
2019/01	多任務深度神經網絡，用於自然語言理解	364	Pytorch	MT-DNN
2019/01	Biobert：生物醫學文本挖掘的預訓練的生物醫學語言表示模型	634	TF	生物Biobert
2019/01	跨語性語言模型預訓練	639	Pytorch Pytorch，TF2.0	XLM
2019/01	變壓器-XL：超出固定長度上下文的細心語言模型	754	TF Pytorch Pytorch，TF2.0	變壓器-XL
2019/02	有效的上下文表示學習，而無需SoftMax層	2	Pytorch	-
2019/03	SCIBERT：科學文本的鑑定的上下文化嵌入	124	Pytorch，TF	Scibert
2019/04	公開可用的臨床BERT嵌入	229	文字	臨床
2019/04	Clinicalbert：建模臨床筆記並預測醫院再入院	84	Pytorch	臨床
2019/05	Ernie：具有信息實體的增強語言表示	210	Pytorch	厄尼
2019/05	統一的語言模型預訓練以自然語言理解和產生	278	Pytorch	UNILMV1（UNILM1大型，UNILM1基準限制）
2019/05	HIBERT：文檔級別的層次雙向變壓器的文檔級培訓用於文檔摘要	81		-
2019/06	用整個單詞掩蓋中文伯特的預訓練	98	Pytorch，TF	Bert-WWM
2019/06	XLNET：通用自動回報預處理以了解語言理解	999+	TF Pytorch，TF2.0	xlnet
2019/07	Ernie 2.0：一個持續的語言理解前訓練框架	107	槳板	Ernie 2.0
2019/07	Spanbert：通過表示和預測跨度改善預訓練	282	Pytorch	Spanbert
2019/07	羅伯塔：一種強大優化的BERT預訓練方法	999+	Pytorch Pytorch，TF2.0	羅伯塔
2019/09	子字Elmo	1	Pytorch	-
2019/09	知識增強了上下文單詞表示	115		-
2019/09	Tinybert：將Bert提煉為自然語言理解	129		-
2019/09	Megatron-LM：使用模型並聯培訓數十億個參數語言模型	136	Pytorch	Megatron-LM（Bert-345M，GPT-2-345M）
2019/09	多重：有效的多語言語言模型微調	29	Pytorch	-
2019/09	具有最佳子詞和共享預測的極端語言模型壓縮	32		-
2019/09	m子：多模式通用語言嵌入	5		-
2019/09	Unicoder：通過預先培訓多個跨語性任務來編碼通用語言編碼器	51		-
2019/09	K-Bert：通過知識圖啟用語言表示	59		-
2019/09	UNITER：學習通用圖像文本表示	60		-
2019/09	阿爾伯特：一個用於自我監督語言表徵學習的精簡版	803	TF	-
2019/10	巴特：自然語言生成，翻譯和理解的序列前訓練序列前訓練	349	Pytorch	Bart（Bart.Base，Bart.Large，Bart.Large.Mnli，Bart.large.cnn，Bart.large.xsum）
2019/10	Distilbert，Bert的蒸餾版：較小，更快，更便宜，更輕	481	Pytorch，TF2.0	Distilbert
2019/10	使用統一的文本到文本變壓器探索轉移學習的限制	696	TF	T5
2019/11	卡門培爾：一種美味的法語模型	102	-	卡門室
2019/11	ZEN：通過n-gram表示增強的中文文本編碼器	15	Pytorch	-
2019/11	無監督的跨語性表示學習	319	Pytorch	XLM-R（XLM-ROBERTA）（XLMR.LARGE，XLMR.BASE）
2020/01	先知網絡：預測序列到序列預訓練的未來n-gram	35	Pytorch	Prophetnet（Prophetnet-large-16GB，先知net-large-160GB）
2020/02	Codebert：用於編程和自然語言的預培訓模型	25	Pytorch	Codebert
2020/02	UNILMV2：用於統一語言模型預訓練的偽屏蔽語言模型	33	Pytorch	-
2020/03	Electra：訓練前文本編碼作為歧視者而不是發電機	203	TF	electra（electra-small，electra bas，electra-large）
2020/04	mpnet：掩蓋和排列的預訓練以了解語言理解	5	Pytorch	mpnet
2020/05	帕斯伯特：基於變壓器的波斯語言理解的模型	1	Pytorch	帕斯伯特
2020/05	語言模型是很少的學習者	382	-	-
2020/07	Infoxlm：跨語言模型預訓練的信息理論框架	12	Pytorch	-

合併方法

• {最後，均值，max} - pooling
• 特殊令牌池（例如Bert和Openai的變壓器）
• SIF：句子嵌入的簡單但很難的基線
• TF-IDF：無監督的句子表示為單詞信息系列：重新訪問TF-IDF
• p-norm：串聯冪均值嵌入為通用跨語性句子表示
• 光盤：無監督的文本嵌入，n-gram和LSTMS的壓縮感應視圖
• 寶石：通過正交嵌入零訓練的句子
• SWEM：基線需要更多的愛：在簡單的基於單詞的模型和相關的合併機制上
• vlawe：本地聚集單詞嵌入的向量（vlawe）：一種新穎的文檔級表示
• 使用離散餘弦變換嵌入有效的句子
• FSE：快速句子嵌入的Gensim附加組件。支持意思是Max，Sif，Usif
• 通過語義子空間分析嵌入有效的句子

編碼器

日期	紙	引文數	代碼	model_name
-	低資源設置中神經機器翻譯的增量域改編	N/A。	Python	Arasif
2014/05	句子和文件的分佈式表示	999+	Pytorch Python	DOC2VEC
2014/11	用多模式神經語言模型統一視覺語義嵌入	849	Theano Pytorch	VSE
2015/06	通過看電影和閱讀書籍來對齊書籍和電影：朝著類似故事的視覺解釋	795	Theano TF Pytorch，火炬	跳過
2015/11	圖像和語言的訂單插入	354	Theano	訂購
2015/11	朝著普遍的派遣句子嵌入	411	Theano	段落
2015/??	從單詞嵌入到文檔距離	999+	C，Python	單詞動搖的距離
2016/02	從未標記的數據中學習句子的分佈式表示	363	Python	齋戒
2016/07	Charagram：通過字符n-grams嵌入單詞和句子	144	Theano	Charagram
2016/11	使用卷積神經網絡學習通用句子表示	76	Theano	堅信
2017/03	使用構圖n-gram特徵對句子嵌入的無監督學習	319	C ++	send2vec
2017/04	學習產生評論並發現情感	293	TF Pytorch Pytorch	情感神經元
2017/05	重新訪問針對性句子嵌入的經常性網絡	60	Theano	格蘭
2017/05	從自然語言推理數據監督通用句子表示的學習	999+	Pytorch	Indersent
2017/07	VSE ++：用堅硬的負面影響改善視覺語義嵌入	132	Pytorch	VSE ++
2017/08	使用數百萬的表情符號事件來學習任何域表示，以檢測情緒，情感和諷刺	357	凱拉斯 Pytorch	Deepmoji
2017/09	星空：嵌入所有東西！	129	C ++	星空
2017/10	異議：從明確的話語關係中學習句子表示	47	Pytorch	異議
2017/11	推動具有數百萬個機器翻譯的隔離句子嵌入的限制	128	Theano	para-nmt
2017/11	雙路徑卷積圖像文本嵌入與實例損失	44	MATLAB	圖像文本插入
2018/03	學習句子表示的有效框架	183	TF	快速思考
2018/03	通用句子編碼器	564	TF-HUB	使用
2018/04	終結式互動互動的深入探索	14	Theano	Deiste
2018/04	通過大規模多任務學習學習通用分佈式句子表示	198	Pytorch	Gensen
2018/06	將文本嵌入雙曲線空間	50	TF	超文本
2018/07	用對比的預測編碼來表示學習	736	凱拉斯	CPC
2018/08	上下文搬運工的距離和barycenter：最佳的上下文構建表示形式	8	Python	CMD
2018/09	以平均最大注意自動編碼器學習通用句子表示	14	TF	平均最大馬克西
2018/10	通過多任務雙重編碼模型學習跨語性句子表示	35	TF-HUB	使用X
2018/10	提高共識最大化的句子表示	4	-	多視圖
2018/10	BioSentVec：為生物醫學文本創建句子嵌入	70	Python	Biosentvec
2018/11	Word Mover的嵌入：從Word2Vec到文檔嵌入	47	C，Python	WordMoverSembeddings
2018/11	從語義任務中學習嵌入的層次多任務方法	76	Pytorch	HMTL
2018/12	零拍的跨語性轉移及以後的大量多語言句子嵌入	238	Pytorch	雷射
2018/??	通用句子嵌入的捲積神經網絡	6	Theano	CSE
2019/01	無需培訓：探索句子分類的隨機編碼器	54	Pytorch	蘭德森特
2019/02	CBow並不是您所需要的：將CBOW與組成矩陣空間模型相結合	4	Pytorch	CMOW
2019/07	光澤：句子表示的生成潛在優化	1	-	光澤
2019/07	多語言通用句子編碼器	52	TF-HUB	多語言
2019/08	句子 - 伯特：使用Siamese Bert-Networks的句子嵌入	261	Pytorch	句子 - 伯特
2020/02	Sbert-WK：通過解剖基於Bert的單詞模型的句子嵌入方法	11	Pytorch	Sbert-wk
2020/06	Dectrr：無監督的文本表示的深層對比度學習	4	Pytorch	Dectrutr
2020/07	語言不合時宜的bert句子嵌入	5	TF-HUB	Labse
2020/11	在訓練語言模型的句子嵌入中	0	TF	伯特流

評估

• decanlp：自然語言十項全能：多任務學習作為問題回答
• Senteval：Senteval：通用句子表示的評估工具包
• 膠水：膠水：一種多任務基準和分析平台，用於自然語言理解
• 探索句子嵌入的語義屬性
• 使用輔助預測任務對句子嵌入的細粒度分析
• 單詞嵌入式基準：如何評估單詞嵌入？關於數據效率和簡單監督任務的重要性
• MLDOC：用於八種語言的多語言文檔分類的語料庫
• Lexnet：橄欖油是由橄欖製成的，嬰兒油是為嬰兒製成的：使用神經模型中的釋義來解釋名詞化合物
• WordVectors.net：wordvectors.org上的word vectors的社區評估和交換
• Jiant：尋找Elmo的朋友：句子級別的預修以外的語言建模
• Jiant：您從上下文中學到什麼？在上下文化的單詞表示中探測句子結構
• 評估下游和語言探測任務中的句子嵌入
• QVEC：通過子空間對齊對單詞矢量表示的評估
• 具有可接受性判斷的驗證句子編碼的語法分析
• 等價：自然語言推理定量推理的基準評估框架
• 評估單詞嵌入模型：方法和實驗結果
• 如何（正確）評估跨語性單詞嵌入：在強大的基線，比較分析和一些誤解上
• 語言表徵的語言知識和可轉讓性：上下文 - 重複分析
• Linspector：單詞表示的多語言探測任務
• 評估句子嵌入的陷阱
• 用X-Probe探測多語言句子表示：Xprobe

雜項

• 單詞嵌入維度選擇：關於單詞嵌入的維度
• 半大小：單詞嵌入的簡單有效的維度降低
• 大小：大小：快速，有效的通用矢量嵌入實用程序包
• 調音還是不調音？適應預估計的代表性
• 不要平均安頓下來，最大值：模糊集和最大的單詞向量：fuzzymax
• 學生已成為主人：基於教師的模型詞嵌入蒸餾與合奏學習：嵌入式階段
• 通過從單詞嵌入中學到的經驗教訓提高分佈相似性：超詞
• 拼寫遺忘的單詞嵌入：Moe
• 使用PCA嵌入單詞的單培訓維度選擇
• 通過深層構圖代碼學習壓縮單詞嵌入：神經界面器
• UER：用於預訓練模型的開源工具包：UER-PY
• 與最近的鄰居重疊的位置句子嵌入式
• 德國伯特

向量映射

• 使用CCA投影的跨語性單詞矢量：使用多語言相關性改進向量空間字表示
• vecmap：一種強大的自學方法，用於完全無監督的單詞嵌入跨語性映射
• 繆斯：僅使用單語言語料庫的無監督的機器翻譯
• CrossLingualMo：上下文單詞嵌入的跨語言對齊，並應用於零攝影依賴性解析

文章

• 比較句子相似性方法
• 當前最好的通用單詞嵌入和句子嵌入
• 關於句子表示，pt。 1：您可以適合一個＃$！ ％@*＆％博客文章？
• 深度學習的文字和句子嵌入，第1部分
• 深度學習的文字和句子嵌入，第2部分
• 句子嵌入方法的概述
• 2017年的單詞嵌入：趨勢和未來方向
• 啟發的演練 - 監督嵌入句子的學習
• 跨語言嵌入模型的調查
• 通過通用語言模型介紹藝術狀態文本分類
• 文檔嵌入技術