Awesome LLM Self Consistency
1.0.0
Awesome LLM Auto-Consististance: une liste organisée de l'auto-cohérence dans les modèles de grande langue
Ce référentiel, appelé auto-cohérence des LLM , contient une collection de ressources et d'articles sur l'auto-cohérence dans les modèles de grande langue .
" Je ne vois pas de chemin qui garantit la sécurité. Nous entrons dans une période de grande incertitude où nous avons affaire à des choses auxquelles nous n'avons jamais traité auparavant, et nous ne pouvons pas nous permettre de nous tromper avec ces choses parce qu'ils pourraient prendre le relais. " - Geoffrey Hinton, professeur, Département d'informatique, Université de Toronto, 5 octobre 2023
Bienvenue pour partager vos papiers, vos pensées et vos idées en soumettant un problème!
Enseigner aux modèles de langue à la raison
Denny Zhou, Google Deepmind
[Lien]
Septembre 2023
Le chemin de l'intelligence générale artificielle: aperçu du dialogue LLM adversaire
Edward Y. Chang
Socrasynth.com, [lien]
Mars 2024
Modèles de fondation pour le traitement du langage naturel: modèles de langue pré-formés intégrant les médias
Gerhard Paaß, Sven Giesselbach
Intelligence artificielle: fondations, théorie et algorithmes (nature Springer), [lien]
16 février 2023
Conséquence GSM8K :
Cohérence du raisonnement arithmétique sur la référence GSM8K
Shuyue Jia
Face étreint 2023, [visage étreint] [Github]
01 décembre 2023
GSM8K :
Formation des vérificateurs pour résoudre les problèmes de mots mathématiques
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman
Arxiv 2021, [papier] [github] [article de blog]
18 novembre 2021
SOINGEQ :
Analyser les problèmes de mot algébrique en équations
Rik Koncel-Kedziorski, Hannaneh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang
TACL 2015, [Paper] [Gitlab]
24 juin 2015
Ajouter :
Apprendre à résoudre des problèmes de mots arithmétiques avec la catégorisation des verbes
Mohammad Javad Hosseini, Hannaneh Hajishirzi, Oren Etzioni, Nate Kushman
EMNLP 2014, [papier] [Gitlab]
25 octobre 2014
Multiarith :
Résolution de problèmes de mots arithmétiques généraux
Subhro Roy, Dan Roth
EMNLP 2015, [papier] [Page Web]
17 septembre 2015
Aqua-rat :
Induction du programme par génération de justification: apprendre à résoudre et expliquer les problèmes de mots algébriques
Wang Ling, Dani Yogatama, Chris Dyer, Phil Blunsom
ACL 2017, [Paper] [Github]
30 juillet 2017
SVAMP :
Les modèles NLP sont-ils vraiment capables de résoudre des problèmes de mots mathématiques simples?
Arkil Patel, Satwik Bhattamishra, Navin Goyal
NAACL 2021, [papier] [github]
6 juillet 2021
Asdiv :
Un corpus diversifié pour évaluer et développer des résolveurs de problèmes de mots mathématiques anglais
Shen-Yun Miao, Chao-chun Liang, Keh-Yih Su
ACL 2020, [papier] [GitHub]
5 juillet 2020
CSQA :
CommniseQa: une question répondant au défi ciblant les connaissances de bon sens
Alon Talmor, Jonathan Herzig, Nicholas Lourie, Jonathan Berant
NAACL 2019, [Paper] [Page Web]
15 mars 2019
BECEL :
BECEL: Benchmark pour l'évaluation de la cohérence des modèles linguistiques
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [papier] [github]
12 octobre 2022
Questions paraphrasées de l'équipe :
Amélioration de la robustesse des questions répondant aux systèmes pour les questions paraphrasant
Wee chung gan, hwee tou ng
ACL 2019, [papier] [GitHub]
28 juillet 2019
BECEL :
BECEL: Benchmark pour l'évaluation de la cohérence des modèles linguistiques
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [papier] [github]
12 octobre 2022
Deux échecs d'auto-cohérence dans le raisonnement en plusieurs étapes des LLM
Angelica Chen, Jason Phang, Alicia Parrish, Vishakh Padmakumar, Chen Zhao, Samuel R. Bowman, Kyunghyun Cho
Arxiv 2023, [papier]
2 octobre 2023
Mpararel :
Mpararel: cohérence factuelle des modèles de langage post-entraîné multilingue
Constanza Fierro, Anders Søgaard
Résultats d'ACL: ACL 2022, [papier] [GitHub]
22 mars 2022
Pararel :
Parare: Metal :: Mesurer et améliorer la cohérence dans les modèles de langue pré-étendue
Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, Yoav Goldberg
TACL 2021, [papier] [github] [Présentation]
29 mai 2021
Math-Shepherd: Vérifiez et renforcez les LLMS étape par étape sans annotations humaines
Peiyi Wang, Lei Li, Zhihong Shao, Rx Xu, Damai Dai, Yifei Li, Deli Chen, Y.Wu, Zhifang Sui
Arxiv 2023, [papier]
28 décembre 2023
Une enquête sur le raisonnement avec les modèles de fondation
Jiankai Sun, Chuanyang Zheng, Enze Xie, Zhengying Liu, Ruihang Chu, Jianing Qiu, Jiaqi Xu, Mingyu Ding, Hongyang Li, Mengzhe Geng, Yue Wu, Wenhai Wang, Junsong Chen, Zhangyue Yin, Xiaozhe Ren, Jie Fu, Junxian He, Wu Yuan, Qi Liu, Xihui Liu, Yu Li, Hao Dong, Yu Cheng, Ming Zhang, Pheng Ann Heng, Jifeng Dai, Ping Luo, Jingdong Wang, Ji-Rong Wen, Xipeng Qiu, Yike Guo, Hui Xiong, Qun Liu, Zhenguo Li
Arxiv 2023, [papier] [github]
26 décembre 2023
L'augmentation de la requête et de la réponse ne peut pas aider le raisonnement mathématique hors du domaine Généralisation
Chengpeng Li, Zheng Yuan, Hongyi Yuan, Guanting Dong, Keming Lu, Jiancan Wu, Chuanqi Tan, Xiang Wang, Chang Zhou
Arxiv 2023, [papier] [github]
1 novembre 2023
Metamath: Bootstrap vos propres questions mathématiques pour les modèles de grande langue
Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, Weiyang Liu
Arxiv 2023, [papier] [github]
9 octobre 2023
Les modèles de grandes langues sont de meilleurs raisonneurs avec une vérification d'auto-vérification
Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Shengping Liu, Bin Sun, Kang Liu, Jun Zhao
Résultats EMNLP 2023, [papier] [github]
19 octobre 2023
Raisonnement avec un modèle de langue Invite: une enquête
Shuofei Qiao, Yixin OU, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen
ACL 2023, [papier] [github]
18 septembre 2023
Échelle de la relation sur l'apprentissage du raisonnement mathématique avec de grands modèles de langue
Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, Jingren Zhou
Arxiv 2023, [papier] [github]
3 août 2023
Les modèles de grands langues peuvent être facilement distraits par un contexte non pertinent
Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, Denny Zhou
ICML 2023, [papier] [GitHub]
6 juin 2023
Vers le raisonnement dans les modèles de grande langue: une enquête
Jie Huang, Kevin Chen-Chuan Chang
Résultats de l'ACL 2023, [papier] [github]
26 mai 2023
Auto-rafraîchissement: raffinement itératif avec l'auto-alimentation
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, San Welleck, AMIR Yazdanbakder, Peter Clash
Arxiv 2023, [papier] [github] [page Web]
25 mai 2023
Auto-rafraîchissement: raffinement itératif avec l'auto-alimentation
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, San Welleck, AMIR Yazdanbakder, Peter Clash
Arxiv 2023, [Paper] [Site Web] [GitHub] [Demo]
25 mai 2023
Exemple-nous étape par étape: conscience adaptative pour un raisonnement efficace avec les LLM
Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
Arxiv 2023, [papier] [Site Web] [GitHub]
19 mai 2023
L'auto-cohérence améliore le raisonnement de la chaîne dans les modèles de langues
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc LE, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023, [papier]
7 mars 2023
L'incitation de la chaîne de pensées suscite du raisonnement dans des modèles de grande langue
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc LE, Denny Zhou
Neirips 2022, [papier]
28 janvier 2022
Cohérence sémantique pour assurer la fiabilité des modèles de grande langue
Harsh Raj, Vipul Gupta, Domenic Rosati, Subhabrata Majumdar
Arxiv 2023, [papier]
17 août 2023
Mesurer la fiabilité des modèles de grandes langues grâce à la cohérence sémantique
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
Atelier de sécurité ML, Neirips 2022, [papier]
28 novembre 2022
Cohérence rapide pour la généralisation des tâches zéro-shot
Chunting Zhou, Junxian He, Xuezhe MA, Taylor Berg-Kirkpatrick, Graham Neubig
Résultats d'ACL: EMNLP 2022, [papier] [GitHub]
27 décembre 2022
Précis, mais incohérent? Analyse de cohérence sur les modèles de compréhension des langues
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Arxiv 2021, [papier]
15 août 2021
Évolution de la similitude sémantique - une enquête
Dhivya Chandrasekaran, Vijay Mago
ACM Computing Survey 2021, [document]
30 janvier 2021
Amélioration de l'auto-cohérence et des performances des modèles de langue pré-formés par l'inférence du langage naturel
Eric Mitchell, Joseph Noh, Siyan Li, Will Armstrong, Ananth Agarwal, Patrick Liu, Chelsea Finn, Christopher Manning
EMNLP 2022, [Paper] [Site Web] [GitHub]
21 novembre 2022
RCOT: détecter et rectifier une incohérence factuelle dans le raisonnement en inversant la chaîne de réflexion
Tianci Xue, Ziqi Wang, Zhenhailong Wang, Chi Han, Pengfei Yu, Heng Ji
Arxiv 2023, [papier]
2 octobre 2023
P-Adaptons: Extraction robuste des informations factuelles à partir de modèles de langue avec diverses invites
Benjamin Newman, Prafulla Kumar Choubey, Nazneen Rajani
ICLR 2022, [papier] [github]
19 avril 2022
Comment pouvons-nous savoir ce que les modèles de langue savent?
Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig
Tacl 2020, [papier] [github]
3 mai 2020
BioMedgpt: un transformateur pré-formé générateur biomédical unifié et généraliste pour la vision, la langue et les tâches multimodales
Kai Zhang, Jun Yu, Eashan Adhikarla, Rong Zhou, Zhiling Yan, Yixin Liu, Zhengliang Liu, Lifang He, Brian Davison, Xiang Li, Hui Ren, Sunyang Fu, James Zou, Wei Liu, Jing Huang Quanzheng Li, Hongfang Liu, Lichao Sun
Arxiv 2024, [papier] [github]
9 janvier 2024
Les modèles de grandes langues peuvent-ils raisonner sur les questions médicales?
Valentin Liévin, Christoffer Egeberg Hother, Andreas Geert Motzfeldt, Ole Winter
Arxiv 2023, [papier] [github]
24 décembre 2023
Vers un généraliste biomédical AI
Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pian Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philiphersfield, Sushant Prakash, Wong, David, Philip Mansfield, Sushant Prakash, Wong, Wong, David, Philip Masca Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [papier] [github]
26 juillet 2023
LLAVA-MED: Formation d'un grand assistant de langue et de vision pour la biomédecine en une journée
Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
Arxiv 2023, [papier] [github]
1 juin 2023
Vers une question médicale de niveau expert répondant avec de grands modèles de langue
Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Soushan Blaise Aguera Y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semtur, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [papier]
16 mai 2023
Les modèles de grandes langues codent les connaissances cliniques
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Aguera Y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semtur
Nature, [papier]
26 décembre 2022
Modèles de fondations multimodales: des spécialistes aux assistants à usage général
Chunyuan Li, Zhe Gan, Zhengyuan Yang, Jianwei Yang, Linjie Li, Lijuan Wang, Jianfeng Gao
Arxiv 2023, [papier] [page Web]
18 septembre 2023
