awesome sentence embedding

很棒的句子插入

精心审计的句子和单词嵌入模型的清单

目录

• 关于这个仓库
• 一般框架
• 单词嵌入
• OOV处理
• 上下文化的单词嵌入
• 合并方法
• 编码器
• 评估
• 杂项
• 向量映射
• 文章

关于这个仓库

• 好吧，有一些很棒的列表用于单词嵌入和句子嵌入，但所有这些都过时了，更重要的是不完整
• 此存储库也不完整，但是我会尽力找到并包括所有鉴定模型的论文
• 这不是一个典型的很棒的列表，因为它有桌子，但我想这还可以，而且比一个巨大的列表更好
• 如果您发现任何错误或找到其他纸张或任何东西，请发送拉动请求，并帮助我保持此列表的最新信息
• 享受！

一般框架

• 几乎所有的句子嵌入都是这样工作的：
• 给定某种单词嵌入和可选的编码器（例如LSTM），他们获得了上下文化的单词嵌入。
• 然后，他们定义某种池（可以和上次合并一样简单）。
• 基于此，他们要么将其直接用于监督分类任务（例如Infersent），要么生成目标序列（例如跳过thought）。
• 因此，总的来说，我们有许多您从未听说过的句子嵌入，您可以简单地意味着对任何单词嵌入，这是嵌入的句子！

单词嵌入

• 注意：不必担心代码的语言，您几乎可以总是（除字样模型除外），只需在您选择的框架中使用验证的嵌入式表即可忽略培训代码

日期	纸	引文数	培训代码	预验证的模型
-	WebVectors：用于构建矢量语义模型网络接口的工具包	N/A。	-	rusvectōrēs
2013/01	对向量空间中单词表示形式的有效估计	999+	c	Word2Vec
2014/12	通过高斯嵌入的单词表示	221	Cython	-
2014/??	一个用于学习多型单词嵌入的概率模型	127	DMTK	-
2014/??	基于依赖关系的单词嵌入	719	C ++	Word2Vecf
2014/??	手套：单词表示的全局向量	999+	c	手套
2015/06	稀疏的过度单词矢量表示	129	C ++	-
2015/06	从释义数据库到组成解释模型和背面	3	Theano	段落
2015/06	非分布单词矢量表示	68	Python	WordFeat
2015/??	角色和单词嵌入的联合学习	195	c	-
2015/??	感官：学习意义的嵌入单词和关系相似性	249	-	感觉到
2015/??	局部单词嵌入	292	Cython
2016/02	Swivel：通过注意到缺少的内容来改善嵌入	61	TF	-
2016/03	对语言约束的反合词向量	232	Python	反贴合（断裂）
2016/05	混合Dirichlet主题模型和单词嵌入以制作LDA2VEC	91	连锁商	-
2016/06	暹罗CBow：优化句子表示的单词嵌入	166	Theano	暹罗Cbow
2016/06	使用窗口采样和负面采样的矩阵分解以改进单词表示	58	去	Lexvec
2016/07	用子词信息丰富单词向量	999+	C ++	fastText
2016/08	概率神经单词嵌入的形态学先验	34	Theano	-
2016/11	联合多任务模型：成长用于多个NLP任务的神经网络	359	C ++	charngram2vec
2016/12	ConceptNet 5.5：开放的多语言图形图	604	Python	numberbatch
2016/??	学习单词meta插入	58	-	meta-emb（破碎）
2017/02	离线双语词向量，正交转换和倒置的软词	336	Python	-
2017/04	多模式单词分布	57	TF	Word2GM
2017/05	用于学习层次表示的庞加莱嵌入	413	Pytorch	-
2017/06	上下文编码是Word2Vec的简单但强大的扩展	13	Python	-
2017/06	使用单语和跨语性约束的分布单词矢量空间的语义专业化	99	TF	吸引力
2017/08	从字符的字形学习中文单词表示	44	c	-
2017/08	有意义的嵌入	92	Python	感觉图
2017/09	哈希嵌入有效的单词表示	25	凯拉斯	-
2017/10	BPEMB：275种语言	91	Gensim	bpemb
2017/11	脊柱：稀疏可解释的神经嵌入	48	Pytorch	脊柱
2017/??	Aravec：一组阿拉伯语嵌入模型用于阿拉伯语NLP	161	Gensim	阿拉维克
2017/??	NGram2VEC：从NGRAM共发生统计的学习改进的单词表示形式	25	c	-
2017/??	dict2vec：使用词汇词典学习嵌入单词嵌入	49	C ++	dict2vec
2017/??	中文单词，字符和细粒度亚字符组件的联合嵌入	63	c	-
2018/04	双曲线嵌入的表示权权衡	120	Pytorch	H-MDS
2018/04	改进句子表示的动态元装置	60	Pytorch	DME/CDME
2018/05	对中国形态和语义关系的类比推理	128	-	中文文字向量
2018/06	多态单词嵌入的概率fasttext	39	C ++	概率的fastText
2018/09	使用图形卷积网络将句法和语义信息合并到单词嵌入中	3	TF	Syngcn
2018/09	Frage：频率 - 不合命中的单词表示	64	Pytorch	-
2018/12	wikipedia2vec：一种用于学习wikipedia单词和实体的优化工具	17	Cython	Wikipedia2vec
2018/??	方向跳过：明确区分单词嵌入左右上下文	106	-	中国安装
2018/??	CW2VEC：学习中文嵌入使用中风n-gram信息	45	C ++	-
2019/02	VCWE：视觉字符增强单词嵌入	5	Pytorch	VCWE
2019/05	通过遥远的监督从Twitter学习跨语性嵌入	2	文本	-
2019/08	无监督的角色感知的神经方法和上下文表示学习	5	TF	-
2019/08	VICO：来自视觉共发生的单词嵌入	7	Pytorch	Vico
2019/11	球形文本嵌入	25	c	-
2019/??	无监督的单词嵌入从材料科学文献中捕获潜在知识	150	Gensim	-

OOV处理

• 删除oov的话！
• 一个OOV矢量（UNK矢量）
• 使用子词模型（Ngram，BPE，char）
• Alacarte：la点菜嵌入：廉价但有效的语义特征向量
• 模仿：使用子字rnns模仿单词嵌入
• compactreconstruction：基于子词的单词嵌入重建

上下文化的单词嵌入

• 注意：所有的非正式模型都可以加载官方审计的模型

日期	纸	引文数	代码	预验证的模型
-	语言模型是无监督的多任务学习者	N/A。	TF Pytorch，TF2.0 凯拉斯	GPT-2（1.17m，1.24m，345m，355m，774m，1558m）
2017/08	在翻译中学习：上下文化的单词向量	524	Pytorch 凯拉斯	湾
2018/01	通用语言模型用于文本分类	167	Pytorch	Ulmfit（英语，动物园）
2018/02	深层上下文化的单词表示	999+	Pytorch TF	Elmo（Allennlp，TF-Hub）
2018/04	有效上下文化表示：序列标签的语言模型修剪	26	Pytorch	LD-NET
2018/07	迈向更好的UD解析：深层上下文化的单词嵌入，合奏和树库串联	120	Pytorch	Elmo
2018/08	高级语言模型的直接输出连接	24	Pytorch	Doc
2018/10	BERT：深层双向变压器的预训练以了解语言理解	999+	TF 凯拉斯 Pytorch，TF2.0 mxnet 桨板 TF 凯拉斯	伯特（Bert，Ernie，Kobert）
2018/??	序列标记的上下文字符串嵌入	486	Pytorch	天赋
2018/??	通过生成的预培训来提高语言理解	999+	TF 凯拉斯 Pytorch，TF2.0	GPT
2019/01	多任务深度神经网络，用于自然语言理解	364	Pytorch	MT-DNN
2019/01	Biobert：生物医学文本挖掘的预训练的生物医学语言表示模型	634	TF	生物Biobert
2019/01	跨语性语言模型预训练	639	Pytorch Pytorch，TF2.0	XLM
2019/01	变压器-XL：超出固定长度上下文的细心语言模型	754	TF Pytorch Pytorch，TF2.0	变压器-XL
2019/02	有效的上下文表示学习，而无需SoftMax层	2	Pytorch	-
2019/03	SCIBERT：科学文本的鉴定的上下文化嵌入	124	Pytorch，TF	Scibert
2019/04	公开可用的临床BERT嵌入	229	文本	临床
2019/04	Clinicalbert：建模临床笔记并预测医院再入院	84	Pytorch	临床
2019/05	Ernie：具有信息实体的增强语言表示	210	Pytorch	厄尼
2019/05	统一的语言模型预训练以自然语言理解和产生	278	Pytorch	UNILMV1（UNILM1大型，UNILM1基准限制）
2019/05	HIBERT：文档级别的层次双向变压器的文档级培训用于文档摘要	81		-
2019/06	用整个单词掩盖中文伯特的预训练	98	Pytorch，TF	Bert-WWM
2019/06	XLNET：通用自动回报预处理以了解语言理解	999+	TF Pytorch，TF2.0	xlnet
2019/07	Ernie 2.0：一个持续的语言理解前训练框架	107	桨板	Ernie 2.0
2019/07	Spanbert：通过表示和预测跨度改善预训练	282	Pytorch	Spanbert
2019/07	罗伯塔：一种强大优化的BERT预训练方法	999+	Pytorch Pytorch，TF2.0	罗伯塔
2019/09	子字Elmo	1	Pytorch	-
2019/09	知识增强了上下文单词表示	115		-
2019/09	Tinybert：将Bert提炼为自然语言理解	129		-
2019/09	Megatron-LM：使用模型并联培训数十亿个参数语言模型	136	Pytorch	Megatron-LM（Bert-345M，GPT-2-345M）
2019/09	多重：有效的多语言语言模型微调	29	Pytorch	-
2019/09	具有最佳子词和共享预测的极端语言模型压缩	32		-
2019/09	m子：多模式通用语言嵌入	5		-
2019/09	Unicoder：通过预先培训多个跨语性任务来编码通用语言编码器	51		-
2019/09	K-Bert：通过知识图启用语言表示	59		-
2019/09	UNITER：学习通用图像文本表示	60		-
2019/09	阿尔伯特：一个用于自我监督语言表征学习的精简版	803	TF	-
2019/10	巴特：自然语言生成，翻译和理解的序列前训练序列前训练	349	Pytorch	Bart（Bart.Base，Bart.Large，Bart.Large.Mnli，Bart.large.cnn，Bart.large.xsum）
2019/10	Distilbert，Bert的蒸馏版：较小，更快，更便宜，更轻	481	Pytorch，TF2.0	Distilbert
2019/10	使用统一的文本到文本变压器探索转移学习的限制	696	TF	T5
2019/11	卡门培尔：一种美味的法语模型	102	-	卡门室
2019/11	ZEN：通过n-gram表示增强的中文文本编码器	15	Pytorch	-
2019/11	无监督的跨语性表示学习	319	Pytorch	XLM-R（XLM-ROBERTA）（XLMR.LARGE，XLMR.BASE）
2020/01	先知网络：预测序列到序列预训练的未来n-gram	35	Pytorch	Prophetnet（Prophetnet-large-16GB，先知net-large-160GB）
2020/02	Codebert：用于编程和自然语言的预培训模型	25	Pytorch	Codebert
2020/02	UNILMV2：用于统一语言模型预训练的伪屏蔽语言模型	33	Pytorch	-
2020/03	Electra：训练前文本编码作为歧视者而不是发电机	203	TF	electra（electra-small，electra bas，electra-large）
2020/04	mpnet：掩盖和排列的预训练以了解语言理解	5	Pytorch	mpnet
2020/05	帕斯伯特：基于变压器的波斯语言理解的模型	1	Pytorch	帕斯伯特
2020/05	语言模型是很少的学习者	382	-	-
2020/07	Infoxlm：跨语言模型预训练的信息理论框架	12	Pytorch	-

合并方法

• {最后，均值，max} - pooling
• 特殊令牌池（例如Bert和Openai的变压器）
• SIF：句子嵌入的简单但很难的基线
• TF-IDF：无监督的句子表示为单词信息系列：重新访问TF-IDF
• p-norm：串联幂均值嵌入为通用跨语性句子表示
• 光盘：无监督的文本嵌入，n-gram和LSTMS的压缩感应视图
• 宝石：通过正交嵌入零训练的句子
• SWEM：基线需要更多的爱：在简单的基于单词的模型和相关的合并机制上
• vlawe：本地聚集单词嵌入的向量（vlawe）：一种新颖的文档级表示
• 使用离散余弦变换嵌入有效的句子
• FSE：快速句子嵌入的Gensim附加组件。支持意思是Max，Sif，Usif
• 通过语义子空间分析嵌入有效的句子

编码器

日期	纸	引文数	代码	model_name
-	低资源设置中神经机器翻译的增量域改编	N/A。	Python	Arasif
2014/05	句子和文件的分布式表示	999+	Pytorch Python	DOC2VEC
2014/11	用多模式神经语言模型统一视觉语义嵌入	849	Theano Pytorch	VSE
2015/06	通过看电影和阅读书籍来对齐书籍和电影：朝着类似故事的视觉解释	795	Theano TF Pytorch，火炬	跳过
2015/11	图像和语言的订单插入	354	Theano	订购
2015/11	朝着普遍的派遣句子嵌入	411	Theano	段落
2015/??	从单词嵌入到文档距离	999+	C，Python	单词动摇的距离
2016/02	从未标记的数据中学习句子的分布式表示	363	Python	斋戒
2016/07	Charagram：通过字符n-grams嵌入单词和句子	144	Theano	Charagram
2016/11	使用卷积神经网络学习通用句子表示	76	Theano	坚信
2017/03	使用构图n-gram特征对句子嵌入的无监督学习	319	C ++	send2vec
2017/04	学习产生评论并发现情感	293	TF Pytorch Pytorch	情感神经元
2017/05	重新访问针对性句子嵌入的经常性网络	60	Theano	格兰
2017/05	从自然语言推理数据监督通用句子表示的学习	999+	Pytorch	Indersent
2017/07	VSE ++：用坚硬的负面影响改善视觉语义嵌入	132	Pytorch	VSE ++
2017/08	使用数百万的表情符号事件来学习任何域表示，以检测情绪，情感和讽刺	357	凯拉斯 Pytorch	Deepmoji
2017/09	星空：嵌入所有东西！	129	C ++	星空
2017/10	异议：从明确的话语关系中学习句子表示	47	Pytorch	异议
2017/11	推动具有数百万个机器翻译的隔离句子嵌入的限制	128	Theano	para-nmt
2017/11	双路径卷积图像文本嵌入与实例损失	44	MATLAB	图像文本插入
2018/03	学习句子表示的有效框架	183	TF	快速思考
2018/03	通用句子编码器	564	TF-HUB	使用
2018/04	终结式互动互动的深入探索	14	Theano	Deiste
2018/04	通过大规模多任务学习学习通用分布式句子表示	198	Pytorch	Gensen
2018/06	将文本嵌入双曲线空间	50	TF	超文本
2018/07	用对比的预测编码来表示学习	736	凯拉斯	CPC
2018/08	上下文搬运工的距离和barycenter：最佳的上下文构建表示形式	8	Python	CMD
2018/09	以平均最大注意自动编码器学习通用句子表示	14	TF	平均最大马克西
2018/10	通过多任务双重编码模型学习跨语性句子表示	35	TF-HUB	使用X
2018/10	提高共识最大化的句子表示	4	-	多视图
2018/10	BioSentVec：为生物医学文本创建句子嵌入	70	Python	Biosentvec
2018/11	Word Mover的嵌入：从Word2Vec到文档嵌入	47	C，Python	WordMoverSembeddings
2018/11	从语义任务中学习嵌入的层次多任务方法	76	Pytorch	HMTL
2018/12	零拍的跨语性转移及以后的大量多语言句子嵌入	238	Pytorch	激光
2018/??	通用句子嵌入的卷积神经网络	6	Theano	CSE
2019/01	无需培训：探索句子分类的随机编码器	54	Pytorch	兰德森特
2019/02	CBow并不是您所需要的：将CBOW与组成矩阵空间模型相结合	4	Pytorch	CMOW
2019/07	光泽：句子表示的生成潜在优化	1	-	光泽
2019/07	多语言通用句子编码器	52	TF-HUB	多语言
2019/08	句子 - 伯特：使用Siamese Bert-Networks的句子嵌入	261	Pytorch	句子 - 伯特
2020/02	Sbert-WK：通过解剖基于Bert的单词模型的句子嵌入方法	11	Pytorch	Sbert-wk
2020/06	Dectrr：无监督的文本表示的深层对比度学习	4	Pytorch	Dectrutr
2020/07	语言不合时宜的bert句子嵌入	5	TF-HUB	Labse
2020/11	在训练语言模型的句子嵌入中	0	TF	伯特流

评估

• decanlp：自然语言十项全能：多任务学习作为问题回答
• Senteval：Senteval：通用句子表示的评估工具包
• 胶水：胶水：一种多任务基准和分析平台，用于自然语言理解
• 探索句子嵌入的语义属性
• 使用辅助预测任务对句子嵌入的细粒度分析
• 单词嵌入式基准：如何评估单词嵌入？关于数据效率和简单监督任务的重要性
• MLDOC：用于八种语言的多语言文档分类的语料库
• Lexnet：橄榄油是由橄榄制成的，婴儿油是为婴儿制成的：使用神经模型中的释义来解释名词化合物
• WordVectors.net：wordvectors.org上的word vectors的社区评估和交换
• Jiant：寻找Elmo的朋友：句子级别的预修以外的语言建模
• Jiant：您从上下文中学到什么？在上下文化的单词表示中探测句子结构
• 评估下游和语言探测任务中的句子嵌入
• QVEC：通过子空间对齐对单词矢量表示的评估
• 具有可接受性判断的验证句子编码的语法分析
• 等价：自然语言推理定量推理的基准评估框架
• 评估单词嵌入模型：方法和实验结果
• 如何（正确）评估跨语性单词嵌入：在强大的基线，比较分析和一些误解上
• 语言表征的语言知识和可转让性：上下文 - 重复分析
• Linspector：单词表示的多语言探测任务
• 评估句子嵌入的陷阱
• 用X-Probe探测多语言句子表示：Xprobe

杂项

• 单词嵌入维度选择：关于单词嵌入的维度
• 半大小：单词嵌入的简单有效的维度降低
• 大小：大小：快速，有效的通用矢量嵌入实用程序包
• 调音还是不调音？适应预估计的代表性
• 不要平均安顿下来，最大值：模糊集和最大的单词向量：fuzzymax
• 学生已成为主人：基于教师的模型词嵌入蒸馏与合奏学习：嵌入式阶段
• 通过从单词嵌入中学到的经验教训提高分布相似性：超词
• 拼写遗忘的单词嵌入：Moe
• 使用PCA嵌入单词的单培训维度选择
• 通过深层构图代码学习压缩单词嵌入：神经界面器
• UER：用于预训练模型的开源工具包：UER-PY
• 与最近的邻居重叠的位置句子嵌入式
• 德国伯特

向量映射

• 使用CCA投影的跨语性单词矢量：使用多语言相关性改进向量空间字表示
• vecmap：一种强大的自学方法，用于完全无监督的单词嵌入跨语性映射
• 缪斯：仅使用单语言语料库的无监督的机器翻译
• CrossLingualMo：上下文单词嵌入的跨语言对齐，并应用于零摄影依赖性解析

文章

• 比较句子相似性方法
• 当前最好的通用单词嵌入和句子嵌入
• 关于句子表示，pt。 1：您可以适合一个＃$！％@*＆％博客文章？
• 深度学习的文字和句子嵌入，第1部分
• 深度学习的文字和句子嵌入，第2部分
• 句子嵌入方法的概述
• 2017年的单词嵌入：趋势和未来方向
• 启发的演练 - 监督嵌入句子的学习
• 跨语言嵌入模型的调查
• 通过通用语言模型介绍艺术状态文本分类
• 文档嵌入技术