Awesome Semantic Textual Similarity

ความคล้ายคลึงกันของข้อความความหมายที่ยอดเยี่ยม (STS)

ความคล้ายคลึงกันของข้อความความหมายที่ยอดเยี่ยม: รายการที่รวบรวมของความคล้ายคลึงกันของข้อความความหมาย/ประโยค (STS) ในรูปแบบภาษาขนาดใหญ่และฟิลด์ NLP

พื้นที่เก็บข้อมูลนี้เรียกว่าความ คล้ายคลึงกันของข้อความที่ยอดเยี่ยมในความคล้ายคลึงกัน มีคอลเลกชันของทรัพยากรและเอกสารเกี่ยวกับ ความคล้ายคลึงกันของข้อความความหมาย/ประโยค (STS) ใน รูปแบบภาษาขนาดใหญ่ และ NLP

" ถ้าคุณไม่สามารถวัดได้คุณไม่สามารถปรับปรุงได้ " - นักฟิสิกส์ชาวอังกฤษ William Thomson

ยินดีต้อนรับสู่การแบ่งปันเอกสารความคิดและความคิดของคุณโดยส่งปัญหา!

สารบัญ

• ภาพรวมวิวัฒนาการแบบจำลอง
• การนำเสนอ
• เกณฑ์มาตรฐาน
  • STS
  • ความสัมพันธ์ที่เกี่ยวข้องกับคนป่วย
• เอกสาร
  • เส้นขอบฟ้า
  • วิธีการที่ใช้เมทริกซ์
  • วิธีการจัดตำแหน่ง/ความสนใจ
  • วิธีการตามคำพูด
  • วิธีการฝังประโยค
• การวัดระยะทาง
• ตัวชี้วัดการประเมินผล
  • ความสัมพันธ์ของเพียร์สัน
  • สเปียร์แมนจัดอันดับสหสัมพันธ์
• การอ้างอิง

ภาพรวมวิวัฒนาการแบบจำลอง

การนำเสนอ

ประโยคความคล้ายคลึงกันของข้อความ: ภาพรวมวิวัฒนาการของแบบจำลอง
Shuyue Jia ห้องปฏิบัติการคอมพิวเตอร์ที่เชื่อถือได้มหาวิทยาลัยบอสตัน
[ลิงก์]
ต.ค. 2023

เกณฑ์มาตรฐาน

โปรดตรวจสอบที่นี่และที่นี่เพื่อดาวน์โหลดฐานข้อมูลมาตรฐานทั้งหมดด้านล่าง

STS

STS12 :
Semeval-2012 ภารกิจ 6: นักบินเกี่ยวกับความคล้ายคลึงกันของข้อความความหมาย
Eneko Agirre, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre
Semeval 2012, [กระดาษ] [ดาวน์โหลด]
07 มิถุนายน 2555

STS13 :
*งานที่ใช้ร่วมกันของ SEM 2013: ความคล้ายคลึงกันของข้อความความหมาย
Eneko Agirre, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo
*SEM 2013, [กระดาษ] [ดาวน์โหลด]
13 มิถุนายน 2556

STS14 :
Semeval-2014 ภารกิจ 10: ความคล้ายคลึงกันของข้อความความหมายหลายภาษา
Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Rada Mihalcea, German Rigau, Janyce Wiebe
Semeval 2014, [Paper] [ดาวน์โหลด]
23 ส.ค. 2014

STS15 :
Semeval-2015 Task 2: ความคล้ายคลึงกันของข้อความความหมายภาษาอังกฤษ, สเปนและนักบินเกี่ยวกับความสามารถในการตีความ
Eneko Agirre, Carmen Banea, Claire Cardie, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Weiwei Guo, Iñigo Lopez-Gazpio, Montse Maritxalar, Rada Mihalcea
Semeval 2015, [Paper] [ดาวน์โหลด]
04 มิถุนายน 2558

STS16 :
SEMEVAL-2016 ภารกิจ 1: ความคล้ายคลึงกันของข้อความความหมายการประเมินแบบ monolingual และ cross-lingual
Eneko Agirre, Carmen Banea, Daniel Cer, Mona Diab, Aitor Gonzalez-Agirre, Rada Mihalcea, German Rigau, Janyce Wiebe
Semeval 2016, [Paper] [ดาวน์โหลด]
16 มิถุนายน 2559

มาตรฐาน STS (STSB) :
Semeval-2017 ภารกิจ 1: การประเมินความคล้ายคลึงกันของข้อความความหมายหลายภาษาและการประเมินที่เน้นข้ามภาษา
Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, Lucia Specia
Semeval 2017, [Paper] [ดาวน์โหลด]
03 ส.ค. 2017

ความสัมพันธ์ที่เกี่ยวข้องกับคนป่วย

การรักษาผู้ป่วยสำหรับการประเมินแบบจำลองความหมายแบบกระจายองค์ประกอบ
Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, Roberto Zamparelli
LREC 2014, [กระดาษ] [ดาวน์โหลด]
26 พฤษภาคม 2014

เอกสาร

เส้นขอบฟ้า

ถุงมือ: เวกเตอร์ทั่วโลกสำหรับการเป็นตัวแทนคำ
Jeffrey Pennington, Richard Socher, Christopher Manning
EMNLP 2014, [กระดาษ] [GitHub]
25 ต.ค. 2014

เวกเตอร์ที่ข้ามความคิด
Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler
Neurips 2015, [Paper] [GitHub]
22 มิ.ย. 2558

การเรียนรู้ภายใต้การดูแลของการเป็นตัวแทนประโยคสากลจากข้อมูลการอนุมานภาษาธรรมชาติ
Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, Antoine Bordes
EMNLP 2017, [กระดาษ] [GitHub]
07 ก.ย. 2017

เบิร์ต: การฝึกอบรมหม้อแปลงสองทิศทางลึกเพื่อความเข้าใจภาษา
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
NAACL-HLT 2019, [กระดาษ] [GitHub]
24 พฤษภาคม 2562

bertscore: การประเมินการสร้างข้อความด้วยเบิร์ต
Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi
ICLR 2020, [กระดาษ] [GitHub]
24 ก.พ. 2020

Bleurt: การเรียนรู้ตัวชี้วัดที่แข็งแกร่งสำหรับการสร้างข้อความ
Thibault Sellam, Dipanjan Das, Ankur Parikh
ACL 2020, [กระดาษ] [GitHub]
05 กรกฎาคม 2020

การดึงข้อความหนาแน่นสำหรับการตอบคำถามแบบเปิดโดเมน
Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-Tau Yih
EMNLP 2020, [กระดาษ] [GitHub]
16 พ.ย. 2020

encoder ประโยคสากล
Daniel Cer, Yinfei Yang, Sheng-Yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, Ray Kurzweil
Arxiv 2018, [กระดาษ] [GitHub]
12 เม.ย. 2018

ประโยค-เบิร์ต: การฝังประโยคโดยใช้ Siamese Bert-Networks
Nils Reimers, Iryna Gurevych
EMNLP 2019, [กระดาษ] [GitHub]
27 ส.ค. 2019

วิธีการที่ใช้เมทริกซ์

การสร้างแบบจำลองการโต้ตอบแบบคู่กับเครือข่ายประสาทลึกสำหรับการวัดความคล้ายคลึงกันแบบความหมาย
หัวเขาจิมมี่หลิน
NAACL 2016, [กระดาษ]
12 มิถุนายน 2559

การจับคู่ข้อความเป็นการจดจำภาพ
Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, Shengxian Wan, Xueqi Cheng
Aaai 2016, [กระดาษ] [GitHub]
20 ก.พ. 2559

Multigrancnn: สถาปัตยกรรมสำหรับการจับคู่ข้อความทั่วไปในหลายระดับของความละเอียด
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
ijcnlp 2015, [กระดาษ]
26 กรกฎาคม 2558

วิธีการจัดตำแหน่งตาม

กลไกความสนใจ

การจับคู่ข้อความที่เรียบง่ายและมีประสิทธิภาพกับคุณสมบัติการจัดตำแหน่งที่สมบูรณ์ยิ่งขึ้น
Runqi Yang, Jianhai Zhang, Xing Gao, Feng Ji, Haiqing Chen
ACL 2019, [กระดาษ] [GitHub]
01 ส.ค. 2019

การจับคู่ประโยคความหมายกับข้อมูลที่เกิดขึ้นซ้ำ ๆ และร่วมกันอย่างหนาแน่น
Seonhoon Kim, Inho Kang, Nojun Kwak
AAAI 2019, [กระดาษ] [GitHub (ไม่เป็นทางการ)]
27 มกราคม 2562

เครือข่ายความสนใจหลายทางสำหรับการสร้างแบบจำลองคู่ประโยค
Chuanqi Tan, Furu Wei, Wenhui Wang, Weifeng LV, Ming Zhou
ijcai 2018, [กระดาษ] [GitHub]
13 กรกฎาคม 2561

การอนุมานภาษาธรรมชาติมากกว่าพื้นที่ปฏิสัมพันธ์
Yichen Gong, Heng Luo, Jian Zhang
EMNLP 2017, [กระดาษ] [GitHub]
13 ก.ย. 2017

เครือข่ายการจัดตำแหน่งระหว่างน้ำหนักสำหรับการสร้างแบบจำลองคู่ประโยค
Gehui Shen, Yunlun Yang, Zhi-Hong Deng
EMNLP 2017, [กระดาษ]
07 ก.ย. 2017

กระแสความสนใจแบบสองทิศทางสำหรับความเข้าใจของเครื่องจักร
Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, Hannaneh Hajishirzi
ICLR 2017, [กระดาษ] [หน้าเว็บ] [GitHub]
24 เม.ย. 2560

การฝังประโยคที่มีโครงสร้างด้วยตนเอง
Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, Yoshua Bengio
EMNLP 2017, [กระดาษ] [GitHub]
09 มี.ค. 2017

ประโยคการเรียนรู้ที่คล้ายคลึงกันโดยการสลายตัวของคำศัพท์และองค์ประกอบ
Zhiguo Wang, Haitao MI, Abraham Ittycheriah
Coling 2016, [กระดาษ] [GitHub]
11 ธันวาคม 2559

แบบจำลองความสนใจแบบย่อยสลายสำหรับการอนุมานภาษาธรรมชาติ
Ankur Parikh, Oscar Täckström, Dipanjan Das, Jakob Uszkoreit
EMNLP 2016, [กระดาษ] [GitHub]
01 พ.ย. 2559

การให้เหตุผลเกี่ยวกับความสนใจของระบบประสาท
Tim Rocktäschel, Edward Grefenstette, Karl Moritz Hermann, TomášKočiský, Phil Blunsom
ICLR 2016, [กระดาษ] [GitHub]
1 มี.ค. 2559

วิธีการดั้งเดิม

DLS@CU: ประโยคที่คล้ายคลึงกันจากการจัดตำแหน่งคำและองค์ประกอบเวกเตอร์ความหมาย
MD Arafat Sultan, Steven Bethard, Tamara Sumner
Semeval 2015, [กระดาษ]
04 มิถุนายน 2558

กลับไปที่พื้นฐานสำหรับการจัดตำแหน่งแบบ monolingual: การใช้ประโยชน์จากความคล้ายคลึงกันของคำและหลักฐานเชิงบริบท
MD Arafat Sultan, Steven Bethard, Tamara Sumner
Tacl 2014, [กระดาษ]
01 พฤษภาคม 2014

วิธีการตามระยะทางของคำ

การปรับปรุงระยะทางของผู้เสนอญัตติโดยใช้ประโยชน์จากเมทริกซ์การดูแลตนเอง
Hiroaki Yamagiwa, Sho Yokoi, Hidetoshi Shimodaira
EMNLP 2023 การค้นพบ [กระดาษ] [GitHub]
02 พ.ย. 2023

ไปสู่ความคล้ายคลึงกันของข้อความความหมายที่ตีความได้ผ่านการเรียนรู้ประโยคที่แตกต่างจากการขนส่งที่ดีที่สุด
Seonghyeon Lee, Dongha Lee, Seongbo Jang, Hwanjo Yu
ACL 2022, [กระดาษ] [GitHub]
22 พฤษภาคม 2022

ระยะทางของ Word Rotator
Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui
EMNLP 2020, [กระดาษ] [GitHub]
16 พ.ย. 2020

Moverscore: การสร้างข้อความการประเมินด้วยการฝังบริบทและระยะทางของผู้เสนอญัตติโลก
Wei Zhao, Maxime Peyrard, Fei Liu, Yang Gao, Christian M. Meyer, Steffen Eger
EMNLP 2019, [กระดาษ] [GitHub]
03 พ.ย. 2019

จากการฝังคำไปจนถึงระยะทางเอกสาร
Matt Kusner, Yu Sun, Nicholas Kolkin, Kilian Weinberger
ICML 2015, [กระดาษ] [GitHub]
06 กรกฎาคม 2558

วิธีการฝังประโยค

วิธีการใช้เวกเตอร์แบบย่อหน้า

ประโยคเดินแบบสุ่มที่ไม่ได้รับการดูแลโดยไม่ได้รับการดูแล: พื้นฐานที่แข็งแกร่ง แต่เรียบง่าย
Kawin Ethayarajh
repl4nlp 2018, [กระดาษ] [GitHub]
20 กรกฎาคม 2561

กรอบการทำงานที่มีประสิทธิภาพสำหรับการเป็นตัวแทนประโยคการเรียนรู้
Lajanugen Logeswaran, Honglak Lee
ICLR 2018, [กระดาษ] [GitHub]
30 เม.ย. 2561

encoder ประโยคสากล
Daniel Cer, Yinfei Yang, Sheng-Yi Kong, Nan Hua, Nicole Limtiaco, Rhomni St. John, Noah Constant, Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, Ray Kurzweil
Arxiv 2018, [กระดาษ] [GitHub]
12 เม.ย. 2018

การเรียนรู้ภายใต้การดูแลของการเป็นตัวแทนประโยคสากลจากข้อมูลการอนุมานภาษาธรรมชาติ
Alexis Conneau, Douwe Kiela, Holger Schwenk, Loïc Barrault, Antoine Bordes
EMNLP 2017, [กระดาษ] [GitHub]
07 ก.ย. 2017

พื้นฐานที่เรียบง่าย แต่ยากต่อจังหวะสำหรับการฝังประโยค
Sanjeev Arora, Yingyu Liang, Tengyu Ma
ICLR 2017, [กระดาษ] [GitHub]
06 ก.พ. 2017

การเรียนรู้การเป็นตัวแทนของประโยคจากข้อมูลที่ไม่มีป้ายกำกับ
Felix Hill, Kyunghyun Cho, Anna Korhonen
NAACL 2016, [กระดาษ] [GitHub (ไม่เป็นทางการ)]
12 มิ.ย. 2559

เวกเตอร์ที่ข้ามความคิด
Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler
Neurips 2015, [Paper] [GitHub]
22 มิ.ย. 2558

การแจกจ่ายการเป็นตัวแทนของประโยคและเอกสาร
Quoc V. Le, Tomas Mikolov
ICML 2014, [กระดาษ]
21 มิถุนายน 2014

กระบวนทัศน์การเข้าร่วมการศึกษา

การแสดงประโยคฟอกสีฟันเพื่อความหมายที่ดีขึ้นและการดึงข้อมูลที่เร็วขึ้น
Jianlin Su, Jiarun Cao, Weijie Liu, Yangyiwen OU
Arxiv 2021, [Paper] [GitHub (Tensorflow)] [GitHub (Pytorch)]]
29 มี.ค. 2021

ในประโยคฝังตัวจากแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน
Bohan Li, Hao Zhou, Junxian HE, Mingxuan Wang, Yiming Yang, Lei Li
EMNLP 2020, [กระดาษ] [GitHub]
02 พ.ย. 2020

Sbert-WK: วิธีการฝังประโยคโดยการผ่าโมเดลคำที่ใช้เบิร์ต
Bin Wang, C.-C. Jay Kuo
IEEE/ACM T-ASLP, [Paper] [GitHub]
29 กรกฎาคม 2020

ประโยค-เบิร์ต: การฝังประโยคโดยใช้ Siamese Bert-Networks
Nils Reimers, Iryna Gurevych
EMNLP 2019, [กระดาษ] [GitHub]
27 ส.ค. 2019

คะแนน Bert-based

Bleurt: การเรียนรู้ตัวชี้วัดที่แข็งแกร่งสำหรับการสร้างข้อความ
Thibault Sellam, Dipanjan Das, Ankur Parikh
ACL 2020, [กระดาษ] [GitHub]
05 กรกฎาคม 2020

bertscore: การประเมินการสร้างข้อความด้วยเบิร์ต
Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi
ICLR 2020, [กระดาษ] [GitHub]
24 ก.พ. 2020

กรอบการเรียนรู้แบบตัดกัน

ไปสู่ความคล้ายคลึงกันของข้อความความหมายที่ตีความได้ผ่านการเรียนรู้ประโยคที่แตกต่างจากการขนส่งที่ดีที่สุด
Seonghyeon Lee, Dongha Lee, Seongbo Jang, Hwanjo Yu
ACL 2022, [กระดาษ] [GitHub]
22 พฤษภาคม 2022

Simcse: การเรียนรู้ที่แตกต่างอย่างง่ายของการฝังประโยค
Tianyu Gao, Xingcheng Yao, Danqi Chen
EMNLP 2021, [กระดาษ] [GitHub]
03 มิ.ย. 2021

การเรียนรู้ที่แตกต่างจากตนเองสำหรับการเป็นตัวแทนประโยคเบิร์ต
Taeuk Kim, Kang Min Yoo, Sang-goo Lee
ACL 2021, [กระดาษ] [GitHub]
03 มิ.ย. 2021

Consert: กรอบความแตกต่างสำหรับการถ่ายโอนการเป็นตัวแทนประโยคที่ดูแลตนเอง
Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu
ACL 2021, [กระดาษ] [GitHub]
25 พฤษภาคม 2564

การปรับแต่งความหมายอีกครั้งด้วยความตึงเครียดที่แตกต่างกัน
Fredrik Carlsson, Amaru Cuba Gyllensten, Evangelia Gogoulou, Erik Ylipää Hellqvist, Magnus Sahlgren
ICLR 2021, [กระดาษ] [GitHub]
03 พฤษภาคม 2021

ชัดเจน: การเรียนรู้แบบตัดกันสำหรับการเป็นตัวแทนประโยค
Zhuofeng Wu, Sinong Wang, Jiatao Gu, Madian Khabsa, Fei Sun, Hao Ma
Arxiv 2020, [กระดาษ]
31 ธ.ค. 2020

การวัดระยะทาง

วิวัฒนาการของความคล้ายคลึงกันทางความหมาย - การสำรวจ
Dhivya Chandrasekaran, Vijay Mago
ACM Computing Survey 2021, [Paper]
18 กุมภาพันธ์ 2564

มาตรการกระจายของระยะทางความหมาย: การสำรวจ
Saif M. Mohammad, Graeme Hirst
arxiv 2012, [กระดาษ]
8 มี.ค. 2555

ตัวชี้วัดการประเมินผล

ความสัมพันธ์ของเพียร์สัน

ค่าสัมประสิทธิ์สหสัมพันธ์เชิงเส้นของเพียร์สัน - วัดความแม่นยำในการทำนาย

$$ r = frac { sum nolimits_ {i = 1}^n ซ้าย (s_i- bar {s} right) ซ้าย (q_i- bar {q} }}} { sqrt { sum nolimits_ ขวา)^2} sqrt { sum nolimits_ {i = 1}^n ซ้าย (q_i- bar {q} ขวา)^2}}, $$

ที่ไหน $ s_i $ และ $ q_i $ เป็นฉลากทองและการคาดการณ์ของแบบจำลอง $ i $ -ประโยค $ bar {s} $ และ $ bar {q} $ เป็นค่าเฉลี่ยของ $ textbf {s} $ และ $ textbf {q} $ - $ n $ คือจำนวนประโยค

สเปียร์แมนจัดอันดับสหสัมพันธ์

ค่าสัมประสิทธิ์สหสัมพันธ์ตามลำดับของ Spearman-วัดความน่าเชื่อถือของการทำนายการทำนาย

$$ rho = 1- frac {6 sum nolimits_ {i = 1}^{n} d_i^2} {n ซ้าย (n^2-1 ขวา)}, $$

ที่ไหน $ d_i $ คือความแตกต่างระหว่างไฟล์ $ i $ -อันดับของประโยคในการคาดการณ์ของแบบจำลองและฉลากทองคำ

การอ้างอิง

หากคุณพบว่ารายการของเรามีประโยชน์โปรดพิจารณาอ้างถึง repo และ toolkit ของเราในสิ่งพิมพ์ของคุณ เราให้รายการ Bibtex ด้านล่าง

 @misc { JiaAwesomeSTS23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome Semantic Textual Similarity } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-Semantic-Textual-Similarity} } ,
}

@misc { JiaAwesomeLLM23 ,
      author = { Jia, Shuyue } ,
      title = { Awesome {LLM} Self-Consistency } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/Awesome-LLM-Self-Consistency} } ,
}

@misc { JiaPromptCraft23 ,
      author = { Jia, Shuyue } ,
      title = { {PromptCraft}: A Prompt Perturbation Toolkit } ,
      year = { 2023 } ,
      publisher = { GitHub } ,
      journal = { GitHub Repository } ,
      howpublished = { url{https://github.com/SuperBruceJia/promptcraft} } ,
}