Awesome Semantic Textual Similarity

很棒的語義文本相似性（STS）

很棒的語義文本相似性：大語模型和NLP字段中的語義/句子文本相似性（STS）的策劃列表

這個名為“很棒的語義文本相似性”的存儲庫包含大型語言模型和NLP中語義/句子文本相似性（STS）的資源和論文集合。

“如果您不能測量它，就無法改進。” - 英國物理學家威廉·湯姆森（William Thomson）

歡迎通過提交問題分享您的論文，想法和想法！

內容

• 模型演變概述
• 演講
• 基準
  • sts
  • 病態相關
• 文件
  • 基線
  • 基於矩陣的方法
  • 對齊/基於注意力的方法
  • 基於單詞距離的方法
  • 基於句子嵌入的方法
• 距離測量
• 評估指標
  • 皮爾遜相關
  • Spearman等級相關
• 引用

模型演變概述

演講

句子文字相似性：模型演變概述
Shuyue Jia，波士頓大學可靠的計算機實驗室
[關聯]
2023年10月

基準

請在此處和此處檢查下面的所有基準數據庫。

sts

STS12 ：
Semeval-2012任務6：語義文本相似性的飛行員
Eneko Agirre，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre
Semeval 2012，[Paper] [下載]
2012年6月7日

STS13 ：
*SEM 2013共享任務：語義文本相似性
Eneko Agirre，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwee Guo
*SEM 2013，[Paper] [下載]
2013年6月13日

STS14 ：
Semeval-2014任務10：多語種語義文本相似性
Eneko Agirre，Carmen Banea，Claire Cardie，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwei Guo，Rada Mihalcea，German Rigau，Janyce Wiebe
Semeval 2014，[紙] [下載]
2014年8月23日

STS15 ：
Semeval-2015任務2：語義文本相似性，英語，西班牙語和飛行員關於解釋性
Eneko Agirre，Carmen Banea，Claire Cardie，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Weiwei Guo，IñigoLopez-Gazpio，Montse Maritxalar，Rada Mihalcea，Rada Mihalcea，德國Rigau，Larraitz uria wiebe，Janyce wiebe
Semeval 2015，[紙] [下載]
2015年6月4日

STS16 ：
Semeval-2016任務1：語義文本相似性，單語和跨語言評估
Eneko Agirre，Carmen Banea，Daniel Cer，Mona Diab，Aitor Gonzalez-Agirre，Rada Mihalcea，German Rigau，Janyce Wiebe
Semeval 2016，[紙] [下載]
2016年6月16日

STS基準（STSB） ：
Semeval-2017任務1：語義文本相似性多語言和跨語言評估
Daniel Cer，Mona Diab，Eneko Agirre，IñigoLopez-Gazpio，Lucia Specia
Semeval 2017，[紙] [下載]
2017年8月3日

病態相關

用於評估組成分佈語義模型的生病治療方法
Marco Marelli，Stefano Menini，Marco Baroni，Luisa Bentivogli，Raffaella Bernardi，Roberto Zamparelli
LREC 2014，[紙] [下載]
2014年5月26日

文件

基線

手套：單詞表示的全局向量
Jeffrey Pennington，Richard Socher，Christopher Manning
EMNLP 2014，[Paper] [Github]
2014年10月25日

跳過思想的向量
Ryan Kiros，Yukun Zhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Torralba，Raquel Urtasun，Sanja Fidler
Neurips 2015，[Paper] [Github]
2015年6月22日

從自然語言推理數據監督通用句子表示的學習
Alexis Conneau，Douwe Kiela，Holger Schwenk，LoïcBarrault，Antoine Bordes
EMNLP 2017，[Paper] [GitHub]
2017年9月7日

BERT：深層雙向變壓器的預訓練以了解語言理解
雅各布·德夫林（Jacob Devlin），明 - - 韋·張（Ming-Wei Chang），肯頓·李（Kenton Lee），克里斯蒂娜·杜塔諾瓦
NAACL-HLT 2019，[Paper] [Github]
2019年5月24日

BERTSCORE：用Bert評估文本生成
Tianyi Zhang，Varsha Kishore，Felix Wu，Kilian Q. Weinberger，Yoav Artzi
ICLR 2020，[Paper] [Github]
2020年2月24日

BLEURT：學習文本生成的強大指標
Thibault Sellam，Dipanjan Das，Ankur Parikh
ACL 2020，[Paper] [Github]
2020年7月5日

通域的密集通過檢索開放域問題回答
Vladimir Karpukhin，Barlas Oguz，Sewon Min，Patrick Lewis，Ledell Wu，Sergey Edunov，Danqi Chen，Wen-Tau Yih
EMNLP 2020，[Paper] [Github]
2020年11月16日

通用句子編碼器
Daniel Cer，Yinfei Yang，Sheng-Yi Kong，Nan Hua，Nicole Limtiaco，Rhomni St. John，Noah Constant，Mario Guajardo-Cespedes，Steve Yuan，Chris Tar，Yun-Hsuan，Yun-Hsuan Sung，Brian Strope，Ray Kurzweil Kurzweil kurzweil kurzweil kurzweil
Arxiv 2018，[Paper] [Github]
2018年4月12日

句子 - 伯特：使用Siamese Bert-Networks的句子嵌入
尼爾·雷默斯（Iryna Gurevych）
EMNLP 2019，[Paper] [GitHub]
2019年8月27日

基於矩陣的方法

具有深層神經網絡的成對單詞互動建模用於語義相似性測量
Hua他，吉米·林（Jimmy Lin）
NAACL 2016，[紙]
2016年6月12日

文本匹配為圖像識別
Liang Pang，Yanyan Lan，Jiafeng Guo，Jun Xu，Shengxian Wan，Xueqi Cheng
AAAI 2016，[Paper] [Github]
2016年2月20日

Multigrancnn：用於多個粒度層面上文本塊的一般匹配的架構
Myeongjun Jang，Deuk Sin Kwon，Thomas Lukasiewicz
IJCNLP 2015，[紙]
2015年7月26日

基於對齊的方法

注意機制

簡單有效的文本匹配與更豐富的對齊功能
Runqi Yang，Jianhai Zhang，Xing Gao，Feng JI，Haiqing Chen
ACL 2019，[Paper] [Github]
2019年8月1日

語義句子與密集連接的經常性和共同註意信息匹配
Seonhoon Kim，Inho Kang，Nojun Kwak
AAAI 2019，[Paper] [Github（非官方）]
2019年1月27日

用於建模句子對的多路注意網絡
Chuanqi Tan，Furu Wei，Wenhui Wang，Weifeng LV，Ming Zhou
ijcai 2018，[紙] [github]
2018年7月13日

自然語言推斷互動空間
Yichen Gong，Heng Luo，Jian Zhang
EMNLP 2017，[Paper] [GitHub]
2017年9月13日

用於句子對建模的加權互動網絡
Gehui Shen，Yunlun Yang，Zhi-hong Deng
EMNLP 2017，[紙]
2017年9月7日

機器理解的雙向注意流
Minjoon Seo，Aniruddha Kembhavi，Ali Farhadi，Hannaneh Hajishirzi
ICLR 2017，[Paper] [網頁] [GitHub]
2017年4月24日

結構化的自我實踐句子嵌入
Zhouhan Lin，Minwei Feng，Cicero Nogueira Dos Santos，Mo Yu，Bing Xiang，Bowen Zhou，Yoshua Bengio
EMNLP 2017，[Paper] [GitHub]
2017年3月9日

句子相似性學習通過詞彙分解和組成
Zhiguo Wang，Haitao MI，Abraham Ittycheriah
Coling 2016，[Paper] [Github]
2016年12月11日

自然語言推斷的可分解注意力模型
Ankur Parikh，OscarTäckström，Dipanjan Das，Jakob Uszkoreit
EMNLP 2016，[Paper] [GitHub]
2016年11月1日

關於綜合性的推理神經關注
蒂姆·洛克舍（Timocktäschel
ICLR 2016，[Paper] [Github]
2016年3月1日

傳統方法

dls@cu：單詞對齊和語義矢量組成的句子相似性
MD Arafat Sultan，Steven Bethard，Tamara Sumner
Semeval 2015，[紙]
2015年6月4日

返回單語言對齊的基礎知識：利用單詞相似性和上下文證據
MD Arafat Sultan，Steven Bethard，Tamara Sumner
TACL 2014，[紙]
2014年5月1日

基於單詞距離的方法

通過利用自我發揮矩陣來改善單詞搬運工的距離
Hiroaki Yamagiwa，Sho Yokoi，Hidetoshi Shimodaira
EMNLP 2023調查結果，[紙] [github]
2023年11月2日

通過最佳基於運輸的對比句子學習，朝著可解釋的語義文本相似性
Seonghyeon Lee，Dongha Lee，Seongbo Jang，Hwanjo Yu
ACL 2022，[Paper] [Github]
2022年5月22日

單詞旋轉器的距離
Sho Yokoi，Ryo Takahashi，Reina Akama，Jun Suzuki，Kentaro Inui
EMNLP 2020，[Paper] [Github]
2020年11月16日

MoverScore：用上下文化的嵌入和地球移動距離進行評估的文本生成
Wei Zhao，Maxime Peyrard，Fei Liu，Yang Gao，Christian M. Meyer，Steffen Eger
EMNLP 2019，[Paper] [GitHub]
2019年11月3日

從單詞嵌入到文檔距離
Matt Kusner，Yu Sun，Nicholas Kolkin，Kilian Weinberger
ICML 2015，[Paper] [GitHub]
2015年7月6日

基於句子嵌入的方法

基於向量的方法

無監督的隨機步行句子嵌入：強大但簡單的基線
Kawin Ethayarajh
REPL4NLP 2018，[Paper] [GitHub]
2018年7月20日

學習句子表示的有效框架
Lajanugen Logeswaran，Honglak Lee
ICLR 2018，[Paper] [Github]
2018年4月30日

通用句子編碼器
Daniel Cer，Yinfei Yang，Sheng-Yi Kong，Nan Hua，Nicole Limtiaco，Rhomni St. John，Noah Constant，Mario Guajardo-Cespedes，Steve Yuan，Chris Tar，Yun-Hsuan，Yun-Hsuan Sung，Brian Strope，Ray Kurzweil Kurzweil kurzweil kurzweil kurzweil
Arxiv 2018，[Paper] [Github]
2018年4月12日

從自然語言推理數據監督通用句子表示的學習
Alexis Conneau，Douwe Kiela，Holger Schwenk，LoïcBarrault，Antoine Bordes
EMNLP 2017，[Paper] [GitHub]
2017年9月7日

句子嵌入的簡單但很難挑選的基線
Sanjeev Arora，Yingyu Liang，Tengyu MA
ICLR 2017，[Paper] [Github]
2017年2月6日

從未標記的數據中學習句子的分佈式表示
Felix Hill，Kyunghyun Cho，Anna Korhonen
NAACL 2016，[Paper] [Github（非官方）]
2016年6月12日

跳過思想的向量
Ryan Kiros，Yukun Zhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Torralba，Raquel Urtasun，Sanja Fidler
Neurips 2015，[Paper] [Github]
2015年6月22日

句子和文件的分佈式表示
Quoc V. Le，Tomas Mikolov
ICML 2014，[紙]
2014年6月21日

預處理範式

美白句子表示更好的語義和更快的檢索速度
Jianlin Su，Jiarun Cao，Weijie Liu，Yangyiwen ou
Arxiv 2021，[Paper] [GitHub（Tensorflow）] [Github（Pytorch）]
2021年3月29日

在訓練語言模型的句子嵌入中
Bohan Li，Hao Zhou，Junxian He，Mingxuan Wang，Yiming Yang，Lei Li
EMNLP 2020，[Paper] [Github]
2020年11月2日

Sbert-WK：通過解剖基於Bert的單詞模型的句子嵌入方法
Bin Wang，C.-C。傑伊·庫（Jay Kuo）
IEEE/ACM T-ASLP，[PAPER] [GITHUB]
2020年7月29日

句子 - 伯特：使用Siamese Bert-Networks的句子嵌入
尼爾·雷默斯（Iryna Gurevych）
EMNLP 2019，[Paper] [GitHub]
2019年8月27日

基於BERT的分數

BLEURT：學習文本生成的強大指標
Thibault Sellam，Dipanjan Das，Ankur Parikh
ACL 2020，[Paper] [Github]
2020年7月5日

BERTSCORE：用Bert評估文本生成
Tianyi Zhang，Varsha Kishore，Felix Wu，Kilian Q. Weinberger，Yoav Artzi
ICLR 2020，[Paper] [Github]
2020年2月24日

對比學習框架

通過最佳基於運輸的對比句子學習，朝著可解釋的語義文本相似性
Seonghyeon Lee，Dongha Lee，Seongbo Jang，Hwanjo Yu
ACL 2022，[Paper] [Github]
2022年5月22日

SIMCSE：簡單的對比度學習句子嵌入
Tianyu Gao，Xingcheng Yao，Danqi Chen
EMNLP 2021，[Paper] [GitHub]
2021年6月3日

BERT句子表示的自我指導的對比度學習
Taeuk Kim，Kang Min Yoo，Sang-goo Lee
ACL 2021，[Paper] [Github]
2021年6月3日

CONDERT：自我監督句子表示轉移的對比框架
Yuanmeng Yan，Rumei Li，Sirui Wang，Fuzheng Zhang，Wei Wu，Weiran Xu
ACL 2021，[Paper] [Github]
2021年5月25日

語義重新調整與對比緊張
弗雷德里克·卡爾森（Fredrik Carlsson），阿馬魯·古巴（Amaru Cuba Gyllensten），伊万格·戈古魯（Evangelia Gogoulou），埃里克·伊利普（ErikYlipää）
ICLR 2021，[Paper] [Github]
2021年5月3日

清晰：句子表示的對比度學習
朱芬·吳（Zhuofeng Wu），王王（Sinong Wang），吉亞托（Jiatao）gu，madian khabsa，fei sun，hao ma
Arxiv 2020，[紙]
2020年12月31日

距離測量

語義相似性的演變 - 調查
Dhivya Chandrasekaran，Vijay Mago
ACM計算調查2021，[紙]
2021年2月18日

語義距離的分佈度量：調查
Saif M. Mohammad，Graeme Hirst
Arxiv 2012，[紙]
2012年3月8日

評估指標

皮爾遜相關

皮爾遜線性相關係數 - 測量預測準確性

$ r = frac { sum nolimits_ {i = 1}^n left（s_i- bar {s}} 右） right）^2} sqrt { sum nolimits_ {i = 1}^n left（q_i- bar {q} right）^2}}，$$

在哪裡 $ s_i $和 $ q_i $是金標籤和模型的預測 $ i $ - 句子。 $ bar {s} $和 $ bar {q} $是平均值 $ textbf {s} $和 $ textbf {q} $ 。 $ n $是句子的數量。

Spearman等級相關

Spearman的等級相關係數 - 測量預測單調性

$$ rho = 1- frac {6 sum nolimits_ {i = 1}^{n} d_i^2} {n left（n^2-1 right）}，$$

在哪裡 $ d_i $是 $ i $ - 句子在模型的預測和金標籤中的排名。

引用

如果您發現我們的列表有用，請考慮在您的出版物中引用我們的回購和工具包。我們在下面提供Bibtex條目。

 @misc { JiaAwesomeSTS23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome Semantic Textual Similarity } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-Semantic-Textual-Similarity} } ,
}

@misc { JiaAwesomeLLM23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome {LLM} Self-Consistency } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-LLM-Self-Consistency} } ,
}

@misc { JiaPromptCraft23 ,
      author = { Jia, Shuyue } ,
      title = { {PromptCraft}: A Prompt Perturbation Toolkit } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/promptcraft} } ,
}