Awesome Semantic Textual Similarity下载 - Awesome Semantic Textual Similarity源代码下载

Awesome Semantic Textual Similarity

Ai源码

1.0.0

下载

很棒的语义文本相似性（STS）

很棒的语义文本相似性：大语模型和NLP字段中的语义/句子文本相似性（STS）的策划列表

这个名为“很棒的语义文本相似性”的存储库包含大型语言模型和NLP中语义/句子文本相似性（STS）的资源和论文集合。

“如果您不能测量它，就无法改进。” - 英国物理学家威廉·汤姆森（William Thomson）

欢迎通过提交问题分享您的论文，想法和想法！

内容

模型演变概述
演讲
基准
- sts
- 病态相关
文件
- 基线
- 基于矩阵的方法
- 对齐/基于注意力的方法
- 基于单词距离的方法
- 基于句子嵌入的方法
距离测量
评估指标
- 皮尔逊相关
- Spearman等级相关
引用

模型演变概述

演讲

句子文字相似性：模型演变概述
Shuyue Jia，波士顿大学可靠的计算机实验室
[关联]
2023年10月

基准

请在此处和此处检查下面的所有基准数据库。

sts

STS12 ：
Semeval-2012任务6：语义文本相似性的飞行员
Eneko Agirre，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre
Semeval 2012，[Paper] [下载]
2012年6月7日

STS13 ：
*SEM 2013共享任务：语义文本相似性
Eneko Agirre，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwee Guo
*SEM 2013，[Paper] [下载]
2013年6月13日

STS14 ：
Semeval-2014任务10：多语种语义文本相似性
Eneko Agirre，Carmen Banea，Claire Cardie，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwei Guo，Rada Mihalcea，German Rigau，Janyce Wiebe
Semeval 2014，[纸] [下载]
2014年8月23日

STS15 ：
Semeval-2015任务2：语义文本相似性，英语，西班牙语和飞行员关于解释性
Eneko Agirre，Carmen Banea，Claire Cardie，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwei Guo，IñigoLopez-Gazpio，Montse Maritxalar，Rada Mihalcea，Rada Mihalcea，德国Rigau，Larraitz uria wiebe，Janyce wiebe
Semeval 2015，[纸] [下载]
2015年6月4日

STS16 ：
Semeval-2016任务1：语义文本相似性，单语和跨语言评估
Eneko Agirre，Carmen Banea，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Rada Mihalcea，German Rigau，Janyce Wiebe
Semeval 2016，[纸] [下载]
2016年6月16日

STS基准（STSB） ：
Semeval-2017任务1：语义文本相似性多语言和跨语言评估
Daniel Cer，Mona Diab，Eneko Agirre，IñigoLopez-Gazpio，Lucia Specia
Semeval 2017，[纸] [下载]
2017年8月3日

病态相关

用于评估组成分布语义模型的生病治疗方法
Marco Marelli，Stefano Menini，Marco Baroni，Luisa Bentivogli，Raffaella Bernardi，Roberto Zamparelli
LREC 2014，[纸] [下载]
2014年5月26日

文件

基线

手套：单词表示的全局向量
Jeffrey Pennington，Richard Socher，Christopher Manning
EMNLP 2014，[Paper] [Github]
2014年10月25日

跳过思想的向量
Ryan Kiros，Yukun Zhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Torralba，Raquel Urtasun，Sanja Fidler
Neurips 2015，[Paper] [Github]
2015年6月22日

从自然语言推理数据监督通用句子表示的学习
Alexis Conneau，Douwe Kiela，Holger Schwenk，LoïcBarrault，Antoine Bordes
EMNLP 2017，[Paper] [GitHub]
2017年9月7日

BERT：深层双向变压器的预训练以了解语言理解
雅各布·德夫林（Jacob Devlin），明 - - 韦·张（Ming-Wei Chang），肯顿·李（Kenton Lee），克里斯蒂娜·杜塔诺瓦
NAACL-HLT 2019，[Paper] [Github]
2019年5月24日

BERTSCORE：用Bert评估文本生成
Tianyi Zhang，Varsha Kishore，Felix Wu，Kilian Q. Weinberger，Yoav Artzi
ICLR 2020，[Paper] [Github]
2020年2月24日

BLEURT：学习文本生成的强大指标
Thibault Sellam，Dipanjan Das，Ankur Parikh
ACL 2020，[Paper] [Github]
2020年7月5日

通域的密集通过检索开放域问题回答
Vladimir Karpukhin，Barlas Oguz，Sewon Min，Patrick Lewis，Ledell Wu，Sergey Edunov，Danqi Chen，Wen-Tau Yih
EMNLP 2020，[Paper] [Github]
2020年11月16日

通用句子编码器
Daniel Cer，Yinfei Yang，Sheng-Yi Kong，Nan Hua，Nicole Limtiaco，Rhomni St. John，Noah Constant，Mario Guajardo-Cespedes，Steve Yuan，Chris Tar，Yun-Hsuan，Yun-Hsuan Sung，Brian Strope，Ray Kurzweil Kurzweil kurzweil kurzweil kurzweil
Arxiv 2018，[Paper] [Github]
2018年4月12日

句子 - 伯特：使用Siamese Bert-Networks的句子嵌入
尼尔·雷默斯（Iryna Gurevych）
EMNLP 2019，[Paper] [GitHub]
2019年8月27日

基于矩阵的方法

具有深层神经网络的成对单词互动建模用于语义相似性测量
Hua他，吉米·林（Jimmy Lin）
NAACL 2016，[纸]
2016年6月12日

文本匹配为图像识别
Liang Pang，Yanyan Lan，Jiafeng Guo，Jun Xu，Shengxian Wan，Xueqi Cheng
AAAI 2016，[Paper] [Github]
2016年2月20日

Multigrancnn：用于多个粒度层面上文本块的一般匹配的架构
Myeongjun Jang，Deuk Sin Kwon，Thomas Lukasiewicz
IJCNLP 2015，[纸]
2015年7月26日

基于对齐的方法

注意机制

简单有效的文本匹配与更丰富的对齐功能
Runqi Yang，Jianhai Zhang，Xing Gao，Feng JI，Haiqing Chen
ACL 2019，[Paper] [Github]
2019年8月1日

语义句子与密集连接的经常性和共同注意信息匹配
Seonhoon Kim，Inho Kang，Nojun Kwak
AAAI 2019，[Paper] [Github（非官方）]
2019年1月27日

用于建模句子对的多路注意网络
Chuanqi Tan，Furu Wei，Wenhui Wang，Weifeng LV，Ming Zhou
ijcai 2018，[纸] [github]
2018年7月13日

自然语言推断互动空间
Yichen Gong，Heng Luo，Jian Zhang
EMNLP 2017，[Paper] [GitHub]
2017年9月13日

用于句子对建模的加权互动网络
Gehui Shen，Yunlun Yang，Zhi-hong Deng
EMNLP 2017，[纸]
2017年9月7日

机器理解的双向注意流
Minjoon Seo，Aniruddha Kembhavi，Ali Farhadi，Hannaneh Hajishirzi
ICLR 2017，[Paper] [网页] [GitHub]
2017年4月24日

结构化的自我实践句子嵌入
Zhouhan Lin，Minwei Feng，Cicero Nogueira Dos Santos，Mo Yu，Bing Xiang，Bowen Zhou，Yoshua Bengio
EMNLP 2017，[Paper] [GitHub]
2017年3月9日

句子相似性学习通过词汇分解和组成
Zhiguo Wang，Haitao MI，Abraham Ittycheriah
Coling 2016，[Paper] [Github]
2016年12月11日

自然语言推断的可分解注意力模型
Ankur Parikh，OscarTäckström，Dipanjan Das，Jakob Uszkoreit
EMNLP 2016，[Paper] [GitHub]
2016年11月1日

关于综合性的推理神经关注
蒂姆·洛克舍（Timocktäschel
ICLR 2016，[Paper] [Github]
2016年3月1日

传统方法

dls@cu：单词对齐和语义矢量组成的句子相似性
MD Arafat Sultan，Steven Bethard，Tamara Sumner
Semeval 2015，[纸]
2015年6月4日

返回单语言对齐的基础知识：利用单词相似性和上下文证据
MD Arafat Sultan，Steven Bethard，Tamara Sumner
TACL 2014，[纸]
2014年5月1日

基于单词距离的方法

通过利用自我发挥矩阵来改善单词搬运工的距离
Hiroaki Yamagiwa，Sho Yokoi，Hidetoshi Shimodaira
EMNLP 2023调查结果，[纸] [github]
2023年11月2日

通过最佳基于运输的对比句子学习，朝着可解释的语义文本相似性
Seonghyeon Lee，Dongha Lee，Seongbo Jang，Hwanjo Yu
ACL 2022，[Paper] [Github]
2022年5月22日

单词旋转器的距离
Sho Yokoi，Ryo Takahashi，Reina Akama，Jun Suzuki，Kentaro Inui
EMNLP 2020，[Paper] [Github]
2020年11月16日

MoverScore：用上下文化的嵌入和地球移动距离进行评估的文本生成
Wei Zhao，Maxime Peyrard，Fei Liu，Yang Gao，Christian M. Meyer，Steffen Eger
EMNLP 2019，[Paper] [GitHub]
2019年11月3日

从单词嵌入到文档距离
Matt Kusner，Yu Sun，Nicholas Kolkin，Kilian Weinberger
ICML 2015，[Paper] [GitHub]
2015年7月6日

基于句子嵌入的方法

基于向量的方法

无监督的随机步行句子嵌入：强大但简单的基线
Kawin Ethayarajh
REPL4NLP 2018，[Paper] [GitHub]
2018年7月20日

学习句子表示的有效框架
Lajanugen Logeswaran，Honglak Lee
ICLR 2018，[Paper] [Github]
2018年4月30日

通用句子编码器
Daniel Cer，Yinfei Yang，Sheng-Yi Kong，Nan Hua，Nicole Limtiaco，Rhomni St. John，Noah Constant，Mario Guajardo-Cespedes，Steve Yuan，Chris Tar，Yun-Hsuan，Yun-Hsuan Sung，Brian Strope，Ray Kurzweil Kurzweil kurzweil kurzweil kurzweil
Arxiv 2018，[Paper] [Github]
2018年4月12日

从自然语言推理数据监督通用句子表示的学习
Alexis Conneau，Douwe Kiela，Holger Schwenk，LoïcBarrault，Antoine Bordes
EMNLP 2017，[Paper] [GitHub]
2017年9月7日

句子嵌入的简单但很难挑选的基线
Sanjeev Arora，Yingyu Liang，Tengyu MA
ICLR 2017，[Paper] [Github]
2017年2月6日

从未标记的数据中学习句子的分布式表示
Felix Hill，Kyunghyun Cho，Anna Korhonen
NAACL 2016，[Paper] [Github（非官方）]
2016年6月12日

跳过思想的向量
Ryan Kiros，Yukun Zhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Torralba，Raquel Urtasun，Sanja Fidler
Neurips 2015，[Paper] [Github]
2015年6月22日

句子和文件的分布式表示
Quoc V. Le，Tomas Mikolov
ICML 2014，[纸]
2014年6月21日

预处理范式

美白句子表示更好的语义和更快的检索速度
Jianlin Su，Jiarun Cao，Weijie Liu，Yangyiwen ou
Arxiv 2021，[Paper] [GitHub（Tensorflow）] [Github（Pytorch）]
2021年3月29日

在训练语言模型的句子嵌入中
Bohan Li，Hao Zhou，Junxian He，Mingxuan Wang，Yiming Yang，Lei Li
EMNLP 2020，[Paper] [Github]
2020年11月2日

Sbert-WK：通过解剖基于Bert的单词模型的句子嵌入方法
Bin Wang，C.-C。杰伊·库（Jay Kuo）
IEEE/ACM T-ASLP，[PAPER] [GITHUB]
2020年7月29日

句子 - 伯特：使用Siamese Bert-Networks的句子嵌入
尼尔·雷默斯（Iryna Gurevych）
EMNLP 2019，[Paper] [GitHub]
2019年8月27日

基于BERT的分数

BLEURT：学习文本生成的强大指标
Thibault Sellam，Dipanjan Das，Ankur Parikh
ACL 2020，[Paper] [Github]
2020年7月5日

BERTSCORE：用Bert评估文本生成
Tianyi Zhang，Varsha Kishore，Felix Wu，Kilian Q. Weinberger，Yoav Artzi
ICLR 2020，[Paper] [Github]
2020年2月24日

对比学习框架

通过最佳基于运输的对比句子学习，朝着可解释的语义文本相似性
Seonghyeon Lee，Dongha Lee，Seongbo Jang，Hwanjo Yu
ACL 2022，[Paper] [Github]
2022年5月22日

SIMCSE：简单的对比度学习句子嵌入
Tianyu Gao，Xingcheng Yao，Danqi Chen
EMNLP 2021，[Paper] [GitHub]
2021年6月3日

BERT句子表示的自我指导的对比度学习
Taeuk Kim，Kang Min Yoo，Sang-goo Lee
ACL 2021，[Paper] [Github]
2021年6月3日

CONDERT：自我监督句子表示转移的对比框架
Yuanmeng Yan，Rumei Li，Sirui Wang，Fuzheng Zhang，Wei Wu，Weiran Xu
ACL 2021，[Paper] [Github]
2021年5月25日

语义重新调整与对比紧张
弗雷德里克·卡尔森（Fredrik Carlsson），阿马鲁·古巴（Amaru Cuba Gyllensten），伊万格·戈古鲁（Evangelia Gogoulou），埃里克·伊利普（ErikYlipää）
ICLR 2021，[Paper] [Github]
2021年5月3日

清晰：句子表示的对比度学习
朱芬·吴（Zhuofeng Wu），王王（Sinong Wang），吉亚托（Jiatao）gu，madian khabsa，fei sun，hao ma
Arxiv 2020，[纸]
2020年12月31日

距离测量

语义相似性的演变 - 调查
Dhivya Chandrasekaran，Vijay Mago
ACM计算调查2021，[纸]
2021年2月18日

语义距离的分布度量：调查
Saif M. Mohammad，Graeme Hirst
Arxiv 2012，[纸]
2012年3月8日

评估指标

皮尔逊相关

皮尔逊线性相关系数 - 测量预测准确性

$ r = frac { sum nolimits_ {i = 1}^n left（s_i- bar {s}} 右） right）^2} sqrt { sum nolimits_ {i = 1}^n left（q_i- bar {q} right）^2}}，$$

在哪里 $ s_i $和 $ q_i $是金标签和模型的预测 $ i $ - 句子。 $ bar {s} $和 $ bar {q} $是平均值 $ textbf {s} $和 $ textbf {q} $ 。 $ n $是句子的数量。

Spearman等级相关

Spearman的等级相关系数 - 测量预测单调性

$$ rho = 1- frac {6 sum nolimits_ {i = 1}^{n} d_i^2} {n left（n^2-1 right）}，$$

在哪里 $ d_i $是 $ i $ - 句子在模型的预测和金标签中的排名。

引用

如果您发现我们的列表有用，请考虑在您的出版物中引用我们的回购和工具包。我们在下面提供Bibtex条目。

 @misc { JiaAwesomeSTS23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome Semantic Textual Similarity } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-Semantic-Textual-Similarity} } ,
}

@misc { JiaAwesomeLLM23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome {LLM} Self-Consistency } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-LLM-Self-Consistency} } ,
}

@misc { JiaPromptCraft23 ,
      author = { Jia, Shuyue } ,
      title = { {PromptCraft}: A Prompt Perturbation Toolkit } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/promptcraft} } ,
}