Awesome LLM Self Consistency
1.0.0
Fantastische LLM-Selbstkonsistenz: Eine kuratierte Liste der Selbstkonsistenz in Großsprachenmodellen
Dieses Repository, das als Selbstkonsistenz von LLMs bezeichnet wird, enthält eine Sammlung von Ressourcen und Papieren zur Selbstkonsistenz in Großsprachenmodellen .
" Ich kann keinen Weg sehen, der Sicherheit garantiert. Wir gehen in eine Zeit großer Unsicherheit ein, in der wir uns mit Dingen zu beschäftigen, mit denen wir uns noch nie zuvor befasst haben, und wir können es uns nicht leisten, mit diesen Dingen falsch zu verstehen, weil sie möglicherweise die Leitung übernehmen. " - Geoffrey Hinton, Professor, Abteilung für Informatik, Universität von Toronto, 5. Oktober, 2023, 2023
Willkommen, Ihre Papiere, Gedanken und Ideen zu teilen, indem Sie ein Problem einreichen!
Lehren Sie Sprachmodelle zur Vernunft
Denny Zhou, Google DeepMind
[Link]
September 2023
Der Weg zur künstlichen allgemeinen Intelligenz: Erkenntnisse aus dem kontroversen LLM -Dialog
Edward Y. Chang
SOCRASYNTH.com, [Link]
März 2024
Foundation-Modelle für die Verarbeitung natürlicher Sprache: Vorausgebildete Sprachmodelle, die Medien integrieren
Gerhard Paaß, Sven GieStelbach
Künstliche Intelligenz: Grundlagen, Theorie und Algorithmen (Springer Nature), [Link]
16. Februar 2023
GSM8K-Konsistenz :
Konsistenz des arithmetischen Denkens auf GSM8K -Benchmark
Shuyue Jia
Umarmtes Gesicht 2023, [umarmtes Gesicht] [Github]
01. Dezember 2023
GSM8K :
Trainingsprüfer zur Lösung mathematischer Wortprobleme
Karl Cobbe, Vineet Kosaraju, Mohammad Bayer, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman
ARXIV 2021, [Papier] [GitHub] [Blog -Beitrag]
18. November 2021
Singleeq :
Analyse algebraischer Wortprobleme in Gleichungen
Rik Koncel-Kedziorski, Hannaneh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang
TACL 2015, [Papier] [GitLab]
24. Juni 2015
Fühe :
Lernen, arithmetische Wortprobleme mit der Verb -Kategorisierung zu lösen
Mohammad Javad Hosseini, Hannaneh Hajishirzi, Oren Etzioni, Nate Kushman
EMNLP 2014, [Papier] [GitLab]
25. Oktober 2014
Multiarith :
Lösen allgemeiner arithmetischer Wortprobleme
Subhro Roy, Dan Roth
EMNLP 2015, [Papier] [Webseite]
17. September 2015
Aqua-RAT :
Programminduktion durch Begründung Generierung: Lernen, algebraische Wortprobleme zu lösen und zu erklären
Wang Ling, Dani Yogatama, Chris Dyer, Phil Blunsom
ACL 2017, [Papier] [Github]
30. Juli 2017
Svamp :
Können NLP -Modelle einfache Probleme mit Mathematikwort lösen?
Arkil Patel, Satwik Bhattamishra, Navin Goyal
NAACl 2021, [Papier] [GitHub]
6. Juli 2021
ASDIV :
Ein vielfältiger Korpus zur Bewertung und Entwicklung von Problemlöser für englische Mathematikwort
Shen-yun Miao, Chao-Chun Liang, Keh-yih su
ACL 2020, [Papier] [Github]
5. Juli 2020
CSQA :
CommonSenseqa: Eine Frage zur Beantwortung der Herausforderung, mit der sich das Wissen über das Wissenswissen auswirkt
Alon Talmor, Jonathan Herzig, Nicholas Lourie, Jonathan Berant
NAACL 2019, [Papier] [Webseite]
15. März 2019
Becel :
Becel: Benchmark für die Konsistenzbewertung von Sprachmodellen
Myeongjun Jang, Deuk Sin Kwon, Thomas LukaSiewicz
Coling 2022, [Papier] [GitHub]
12. Oktober 2022
Schwadelfragen umschrieben :
Verbesserung der Robustheit von Fragen zur Beantwortung von Systemen zur Frage der Paraphrasieren
Wee Chung Gan, hwee tou ng
ACL 2019, [Papier] [Github]
28. Juli 2019
Becel :
Becel: Benchmark für die Konsistenzbewertung von Sprachmodellen
Myeongjun Jang, Deuk Sin Kwon, Thomas LukaSiewicz
Coling 2022, [Papier] [GitHub]
12. Oktober 2022
Zwei Fehler der Selbstkonsistenz im mehrstufigen Denken von LLMs
Angelica Chen, Jason Phang, Alicia Parrish, Vishakh Padmakumar, Chen Zhao, Samuel R. Bowman, Kyunghyun Cho
ARXIV 2023, [Papier]
2. Oktober 2023
Mpararel :
Mpararel: Tatsache Konsistenz mehrsprachiger vorbereiteter Sprachmodelle
Constanza Fierro, Anders Søgaard
Ergebnisse von ACL: ACL 2022, [Papier] [GitHub]
22. März 2022
Pararel :
Pararel: Metall :: Messen und Verbesserung der Konsistenz in vorbereiteten Sprachmodellen
Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, Yoav Goldberg
TaCl 2021, [Papier] [GitHub] [Präsentation]
29. Mai 2021
Mathematik: Überprüfen und verstärken Sie LLMs Schritt für Schritt ohne menschliche Anmerkungen
Peiyi Wang, Lei Li, Zhihong Shao, RX Xu, Damai Dai, Yifei Li, Deli Chen, Y.Wu, Zhifang Sui
ARXIV 2023, [Papier]
28. Dezember 2023
Eine Übersicht über die Argumentation mit Stiftungsmodellen
Jiangai Sun, Chuanyang Zheng, Enze Xie, Zhengying Liu, Ruihang Chu, Jianing Qiu, Jiaqi Xu, Mingyu Ding, Hongyang Li, Mengzhe Geng, Yue Wu, Wenhai Wang, Junsong Chen, Zhangyue Yin, Xiaozhe, Xiaozhe, Xiaozhe, Jie, Jie, Jie, Yin, Xiaozhe, Xiaozhe, Xiaozhe, Yin, Xiaozhe, Xiaozhe, Yin, Xiaozhe, Xiaozhe, Yin, Xiaozhe, Xiaozhe, Jie, Jie, Yin, Xiaozhe, Xiaozhe, Yin, Xiaozhe, Xiaozhe, Yin, Xiaozhe, Xiaozhe, Yin, Xiaozhe. Liu, Xihui Liu, Yu Li, Hao Dong, Yu Cheng, Ming Zhang, Pheng Ann Heng, Jifeng Dai, Ping Luo, Jingdong Wang, Ji-Rong Wen, Xipeng Qiu, Yike Guo, Hui Xiong, Qun Liu, Zhenguo Li lio lio
ARXIV 2023, [Papier] [GitHub]
26. Dezember 2023
Abfrage- und Antwortvergrößerung kann nicht helfen, die Verallgemeinerung der Mathematik-Argumentation außerhalb der Domäne zu helfen
Chengpeng Li, Zheng Yuan, Hongyi Yuan, Guanting Dong, Keming Lu, Jiancan Wu, Chuanqi Tan, Xiang Wang, Chang Zhou
ARXIV 2023, [Papier] [GitHub]
1. November 2023
Metamath: Bootstrap Ihre eigenen mathematischen Fragen für große Sprachmodelle
Longhui Yu, Weis Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, Weiyang Liu
ARXIV 2023, [Papier] [GitHub]
9. Oktober 2023
Großsprachmodelle sind bessere Vernunft mit Selbstverifizierung
Yixuan Weng, Minjun Zhu, Fei Xia, bin Li, Shizhu He, Shengping Liu, bin Sun, Kang Liu, Jun Zhao
EMNLP 2023 Befunde, [Papier] [GitHub]
19. Oktober 2023
Argumentation mit Sprachmodell Aufforderung: Eine Umfrage
Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen
ACL 2023, [Papier] [GitHub]
18. September 2023
Skalierung der Beziehung zum Erlernen mathematischer Argumentation mit großen Sprachmodellen
Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, Jingren Zhou
ARXIV 2023, [Papier] [GitHub]
3. August 2023
Große Sprachmodelle können durch irrelevanten Kontext leicht abgelenkt werden
Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, Denny Zhou
ICML 2023, [Papier] [GitHub]
6. Juni 2023
Um die Argumentation in Großsprachmodellen zu argumentieren: eine Umfrage
Jie Huang, Kevin Chen-Chuan Chang
Ergebnisse von ACL 2023, [Papier] [GitHub]
26. Mai 2023
Self-Refine: iterative Verfeinerung mit Selbstfütterung
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
ARXIV 2023, [Papier] [GitHub] [Webseite]
25. Mai 2023
Self-Refine: iterative Verfeinerung mit Selbstfütterung
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
ARXIV 2023, [Papier] [Website] [GitHub] [Demo]
25. Mai 2023
Lassen Sie uns Schritt für Schritt probieren: Adaptive Konsistenz für effizientes Denken mit LLMs
Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
ARXIV 2023, [Papier] [Website] [GitHub]
19. Mai 2023
Selbstkonsistenz verbessert die Kette des Denkens in Sprachmodellen
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023, [Papier]
7. März 2023
Die Aufforderung zur Kette der Gedanken liefert Argumentation in Großsprachenmodellen aus
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou
Neurips 2022, [Papier]
28. Januar 2022
Semantische Konsistenz zur Gewährleistung der Zuverlässigkeit großer Sprachmodelle
Harsh Raj, Vipul Gupta, Domenic Rosati, Subhabrata Majumdar
ARXIV 2023, [Papier]
17. August 2023
Messung der Zuverlässigkeit großer Sprachmodelle durch semantische Konsistenz
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
ML Safety Workshop, Neurips 2022, [Papier]
28. November 2022
Sofortige Konsistenz für die Verallgemeinerung von Aufgaben mit Null-Shot-Task
Chunting Zhou, Junxian He, Xuezhe MA, Taylor Berg-Kirkpatrick, Graham Neuubig
Ergebnisse von ACL: EMNLP 2022, [Papier] [Github]
27. Dezember 2022
Genau, aber inkonsistent? Konsistenzanalyse zu Sprachverständnismodellen
Myeongjun Jang, Deuk Sin Kwon, Thomas LukaSiewicz
ARXIV 2021, [Papier]
15. August 2021
Entwicklung der semantischen Ähnlichkeit - eine Umfrage
Dhivya Chandrasekaran, Vijay Mago
ACM Computing Survey 2021, [Papier]
30. Januar 2021
Verbesserung der Selbstkonsistenz und Leistung von vorgeborenen Sprachmodellen durch natürliche Sprachinferenz
Eric Mitchell, Joseph Noh, Siyan Li, Will Armstrong, Ananth Agarwal, Patrick Liu, Chelsea Finn, Christopher Manning
EMNLP 2022, [Papier] [Website] [GitHub]
21. November 2022
RCOT: Erkennung und Behebung der sachlichen Inkonsistenz im Argumentieren durch Umkehrung der Kette des Gedankens
Tianci Xue, Ziqi Wang, Zhenhailong Wang, Chi Han, Pengfei Yu, Heng JI
ARXIV 2023, [Papier]
2. Oktober 2023
P-Adapter: Extrahieren sachlicher Informationen aus Sprachmodellen mit unterschiedlichen Eingabeaufforderungen robust
Benjamin Newman, Prafulla Kumar Choubey, Nazneen Rajani
ICLR 2022, [Papier] [GitHub]
19. April 2022
Wie können wir wissen, was Sprachmodelle wissen?
Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig
TaCl 2020, [Papier] [Github]
3. Mai 2020
BiomedGPT: Ein einheitlicher und allgemeiner biomedizinischer generativer vorgebildeter Transformator für Seh-, Sprach- und multimodale Aufgaben
Kai Zhang, Jun Yu, Eashan Adhikarla, Rong Zhou, Zhiling Yan, Yixin Liu, Zhengliang Liu, Lifang He, Brian Davison, Xiang Li, Hui Ren, Sunyang Fu, James Zou, Wei Liu, Jing Huang, Chen Chen, Yuyin Zhou, Tianming Liu, Xun Chen, Yong Chen, Quanzheng Li, Hongfinang Liu, Lichao Sun
ARXIV 2024, [Papier] [GitHub]
9. Januar 2024
Können große Sprachmodelle über medizinische Fragen zu medizinischen Fragen begründen?
Valentin Liévin, Christoffer EgeBerg -Schnitt, Andreas Geert Motzfeldt, Ole Winther
ARXIV 2023, [Papier] [GitHub]
24. Dezember 2023
In Richtung Generalist biomedizinischer KI
Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfield, Sushant Prakash, Renee Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Nataryajan
ARXIV 2023, [Papier] [GitHub]
26. Juli 2023
LLAVA-MED: Schulung eines großen Sprach- und Visionsassistenten für Biomedizin an einem Tag
Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
ARXIV 2023, [Papier] [GitHub]
1. Juni 2023
Auf der medizinischen Frage auf Expertenebene zur Beantwortung von großartigen Modellen mit großer Sprache
Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Sushant Prakash, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan
ARXIV 2023, [Papier]
16. Mai 2023
Großsprachenmodelle kodieren klinisches Wissen
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung gewann Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul-Gamble, Chris, Chris, Chris, Nataneal Scharli, A. Aakaksha, Chris, Chris, Nataneal Scharli, A. A. Philip Mansfield, Blaise Aguera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikessalingam, Vivek Nataryajan
Natur, [Papier]
26. Dezember 2022
Multimodale Fundamentmodelle: Von Spezialisten bis hin zu Allzweckassistenten
Chunyuan Li, Zhe Gan, Zhengyuan Yang, Jianwei Yang, Linjie Li, Lijuan Wang, Jianfeng Gao
ARXIV 2023, [Papier] [Webseite]
18. September 2023
