Awesome LLM Self Consistency
1.0.0
Konsistensi diri LLM yang luar biasa: daftar konsistensi diri yang dikuratori dalam model bahasa besar
Repositori ini, yang disebut konsistensi diri LLMS , berisi kumpulan sumber daya dan makalah tentang konsistensi diri dalam model bahasa besar .
" Saya tidak dapat melihat jalan yang menjamin keselamatan. Kami memasuki periode ketidakpastian besar di mana kami berurusan dengan hal -hal yang belum pernah kami tangani sebelumnya, dan kami tidak mampu untuk salah dengan hal -hal ini karena mereka mungkin mengambil alih. " - Geoffrey Hinton, Profesor, Departemen Ilmu Komputer, Universitas Toronto, 5 Oktober 2023
Selamat datang untuk membagikan makalah, pemikiran, dan ide Anda dengan mengirimkan masalah!
Mengajar model bahasa untuk bernalar
Denny Zhou, Google DeepMind
[Link]
September 2023
Jalan Menuju Kecerdasan Umum Buatan: Wawasan dari Dialog LLM yang bermusuhan
Edward Y. Chang
Socrasynth.com, [tautan]
Maret 2024
Model Yayasan untuk Pemrosesan Bahasa Alami: Model Bahasa Pra-Terlatih Mengintegrasikan Media
Gerhard Paaß, Sven Giesselbach
Kecerdasan Buatan: Yayasan, Teori, dan Algoritma (Alam Springer), [Tautan]
16 Feb 2023
Konsistensi GSM8K :
Konsistensi penalaran aritmatika pada tolok ukur GSM8K
Shuyue Jia
Memeluk Wajah 2023, [Wajah Memeluk] [GitHub]
01 Des 2023
GSM8K :
Melatih verifikasi untuk menyelesaikan masalah kata matematika
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman, Reiichiro, Christopher Hesse, John Schulman, Reiichiro, Christopher Hesse, John Schulman,
ARXIV 2021, [kertas] [GitHub] [Posting Blog]
18 Nov 2021
Singleq :
Menguras masalah kata aljabar menjadi persamaan
Rik Koncel-Kedziorski, Hananeh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang
TACL 2015, [kertas] [GitLab]
24 Juni 2015
AddSub :
Belajar memecahkan masalah kata aritmatika dengan kategorisasi kata kerja
Mohammad Javad Hosseini, Hananeh Hajishirzi, Oren Etzioni, Nate Kushman
EMNLP 2014, [kertas] [GitLab]
25 Okt 2014
Multiitith :
Memecahkan masalah kata aritmatika umum
Subhro Roy, Dan Roth
EMNLP 2015, [kertas] [halaman web]
17 September 2015
Aqua-Rat :
Induksi Program oleh Generasi Dasar Pemikiran: Belajar Memecahkan dan Menjelaskan Masalah Kata Aljabar
Wang Ling, Dani Yogatama, Chris Dyer, Phil Blunsom
ACL 2017, [kertas] [GitHub]
30 Juli 2017
SVAMP :
Apakah model NLP benar -benar dapat menyelesaikan masalah kata matematika yang sederhana?
Arkil Patel, Satwik Bhattamishra, Navin Goyal
NAACL 2021, [kertas] [GitHub]
6 Juli 2021
Asdiv :
Korpus yang beragam untuk mengevaluasi dan mengembangkan pemecah masalah kata matematika bahasa Inggris
Shen-yun Miao, Chao-chun Liang, Keh-yih Su
ACL 2020, [kertas] [GitHub]
5 Juli 2020
CSQA :
Commonsenseqa: Sebuah pertanyaan yang menjawab tantangan yang menargetkan pengetahuan akal sehat
Alon Talmor, Jonathan Herzig, Nicholas Lourie, Jonathan Berant
NAACL 2019, [kertas] [halaman web]
15 Mar 2019
Becel :
Becel: Benchmark untuk Evaluasi Konsistensi Model Bahasa
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [kertas] [GitHub]
12 Okt 2022
Pertanyaan Skuad parafrase :
Meningkatkan ketahanan sistem penjawab pertanyaan untuk mempertanyakan parafrase
Wee chung gan, hwee tou ng
ACL 2019, [kertas] [GitHub]
28 Juli 2019
Becel :
Becel: Benchmark untuk Evaluasi Konsistensi Model Bahasa
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [kertas] [GitHub]
12 Okt 2022
Dua kegagalan konsistensi diri dalam penalaran multi-langkah LLMS
Angelica Chen, Jason Phang, Alicia Parrish, Vishakh Padmakumar, Chen Zhao, Samuel R. Bowman, Kyunghyun Cho
Arxiv 2023, [kertas]
2 Okt 2023
MPARAREL :
MPARAREL: Konsistensi faktual model bahasa pretrained multibahasa
Constanza Fierro, Anders Søgaard
Temuan ACL: ACL 2022, [kertas] [GitHub]
22 Mar 2022
Pararel :
Pararel: Metal :: Mengukur dan Meningkatkan Konsistensi dalam Model Bahasa Pretrained
Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, Yoav Goldberg
TACL 2021, [kertas] [GitHub] [Presentasi]
29 Mei 2021
Math-Shepherd: Verifikasi dan perkuat LLMS langkah demi langkah tanpa anotasi manusia
Peiyi Wang, Lei Li, Zhihong Shao, Rx Xu, Damai Dai, Yifei Li, Deli Chen, Y.Wu, Zhifang Sui
Arxiv 2023, [kertas]
28 Des 2023
Survei Penalaran dengan Model Yayasan
Jiankai Sun, Chuanyang Zheng, Enze Xie, Zhengying Liu, Ruihang Chu, Jianing Qiu, Jiaqi Xu, Mingyu Ding, Hongyang Li, Mengzhe Geng, Yue Wu, Wenhai Wang, Junsong Chen, Zhangyue Yin, Xiaozhe Ren, Jie Fu, Junxian He, Wu Yuan, Qi Liu, Xihui Liu, Yu Li, Hao Dong, Yu Cheng, Ming Zhang, Pheng Ann Heng, Jifeng Dai, Ping Luo, Jingdong Wang, Ji-Rong Wen, Xipeng Qiu, Yike Guo, Hui Xiong, Qun Liu, Zhenguo Li
Arxiv 2023, [kertas] [GitHub]
26 Des 2023
Augmentasi kueri dan respons tidak dapat membantu generalisasi penalaran matematika di luar domain
Chengpeng Li, Zheng Yuan, Hongyi Yuan, Guanting Dong, Keming Lu, Jiancan Wu, Chuanqi Tan, Xiang Wang, Chang Zhou
Arxiv 2023, [kertas] [GitHub]
1 Nov 2023
Metamath: Bootstrap pertanyaan matematika Anda sendiri untuk model bahasa besar
Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo LI, Adrian Weller, Weiyang Liu
Arxiv 2023, [kertas] [GitHub]
9 Okt 2023
Model bahasa besar adalah penalaran yang lebih baik dengan verifikasi diri
Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Shengping Liu, Bin Sun, Kang Liu, Jun Zhao
Temuan EMNLP 2023, [kertas] [GitHub]
19 Okt 2023
Penalaran dengan Model Bahasa yang Didorong: Survei
Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen
ACL 2023, [kertas] [GitHub]
18 Sep 2023
SKALING Hubungan tentang Belajar Penalaran Matematika dengan Model Bahasa Besar
Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, Jingren Zhou
Arxiv 2023, [kertas] [GitHub]
3 Agustus 2023
Model bahasa besar dapat dengan mudah terganggu oleh konteks yang tidak relevan
Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, Denny Zhou
ICML 2023, [kertas] [GitHub]
6 Jun 2023
Menuju penalaran dalam model bahasa besar: survei
Jie Huang, Kevin Chen-Chuan Chang
Temuan ACL 2023, [kertas] [GitHub]
26 Mei 2023
Mandiri diri: penyempurnaan berulang dengan umpan balik diri
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
ARXIV 2023, [kertas] [GitHub] [halaman web]
25 Mei 2023
Mandiri diri: penyempurnaan berulang dengan umpan balik diri
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
ARXIV 2023, [kertas] [Situs web] [GitHub] [Demo]
25 Mei 2023
Mari Contoh Langkah demi Langkah: Konsistensi adaptif untuk penalaran yang efisien dengan LLMS
Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
Arxiv 2023, [kertas] [Situs web] [GitHub]
19 Mei 2023
Konsistensi diri meningkatkan penalaran rantai pemikiran dalam model bahasa
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023, [kertas]
7 Mar 2023
Rantai-dipikirkan mendorong memunculkan penalaran dalam model bahasa besar
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc LE, Denny Zhou
Neurips 2022, [kertas]
28 Jan 2022
Konsistensi semantik untuk memastikan keandalan model bahasa besar
Harsh Raj, Vipul Gupta, Domenic Rosati, Subhabrata Majumdar
Arxiv 2023, [kertas]
17 Agustus 2023
Mengukur keandalan model bahasa besar melalui konsistensi semantik
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
ML Safety Workshop, Neurips 2022, [kertas]
28 Nov 2022
Konsistensi cepat untuk generalisasi tugas nol-shot
Chunting Zhou, Junxian He, Xuezhe MA, Taylor Berg-Kirkpatrick, Graham Neubig
Temuan ACL: EMNLP 2022, [kertas] [GitHub]
27 Des 2022
Akurat, namun tidak konsisten? Analisis konsistensi pada model pemahaman bahasa
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Arxiv 2021, [kertas]
15 Agustus 2021
Evolusi kesamaan semantik - survei
Dhivya Chandrasekaran, Vijay Mago
Survei Komputasi ACM 2021, [kertas]
30 Jan 2021
Meningkatkan konsistensi diri dan kinerja model bahasa yang sudah terlatih melalui inferensi bahasa alami
Eric Mitchell, Joseph Noh, Siyan Li, Will Armstrong, Ananth Agarwal, Patrick Liu, Chelsea Finn, Christopher Manning
EMNLP 2022, [kertas] [Situs web] [GitHub]
21 Nov 2022
RCOT: Mendeteksi dan memperbaiki ketidakkonsistenan faktual dalam penalaran dengan membalikkan rantai-dipikirkan
Tianci Xue, Ziqi Wang, Zhenhailong Wang, Chi Han, Pengfei Yu, Heng Ji
Arxiv 2023, [kertas]
2 Okt 2023
P-Adapters: Mengekstraksi Informasi Faktual dari Model Bahasa yang Beragam dengan Beragam
Benjamin Newman, Prafulla Kumar Choubey, Nazneen Rajani
ICLR 2022, [kertas] [GitHub]
19 Apr 2022
Bagaimana kita bisa tahu model bahasa apa yang tahu?
Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig
TACL 2020, [kertas] [GitHub]
3 Mei 2020
Biomedgpt: Transformator pra-terlatih generatif yang terpadu dan generalis untuk visi, bahasa, dan tugas multimodal
Kai Zhang, Jun Yu, Eashan Adhikarla, Rong Zhou, Zhiling Yan, Yixin Liu, Zhengliang Liu, Lifang HE, Brian Davison, Xiang Li, Hui Ren, SUNYANG FU, JAMES ZOU, WEI LIU, JING HUANG, CHEN CHEN, Yuyin Zhu, Wei LiU, Jing Huang, Chen Chen, Yuyin Zhu, Wei Liu, Jing Huang, Chen Chen, Yuyin Zho Quanzheng Li, Hongfang Liu, Lichao Sun
Arxiv 2024, [kertas] [GitHub]
9 Jan 2024
Bisakah model bahasa besar beralasan tentang pertanyaan medis?
Valentin Liévin, Christoffer Egeberg Hother, Andreas Geert Motzfeldt, Ole Winther
Arxiv 2023, [kertas] [GitHub]
24 Des 2023
Menuju AI Biomedis Generalis
Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Khlbl, Aakanksha, Yun Liu, Simon Knbl, Aakanksha, Yun Liu, Simon Knblfield, Simon Knblfield, Simon Knblfield, Simon Kaprield, Aakanksha, Yun Liu, Yun Liu, Simon Knbl, Simon, Simon, Simon, Simon, Simon, Simon, Simon, Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [kertas] [GitHub]
26 Jul 2023
LLAVA-MED: Melatih Asisten Bahasa dan Visi Besar untuk Biomedis dalam satu hari
Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
Arxiv 2023, [kertas] [GitHub]
1 Jun 2023
Menuju pertanyaan medis tingkat ahli yang menjawab dengan model bahasa besar
Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Sushant Prakash, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikalingam, ViveKoofeh Azizi, Alan Karthikalingam, ViveKoofeh Natarazi, Alan Karthikalingam, ViveKoofeh Natarazi, Alan Karthikalingam, ViveKoofeh, Viveofeh Natarazi, Alan Karthikalingam, ViveKoofeh, Viveofeh, Viveofeh, Viveofeh, Viveofeh, Alan Karthikalingam, ViveKoofeh, Viveofeh, Viveofeh, Viveofeh, Alan Karthikalingam)
Arxiv 2023, [kertas]
16 Mei 2023
Model bahasa besar menyandikan pengetahuan klinis
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Aguera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, Vivek Natarajan
Alam, [kertas]
26 Des 2022
Model Yayasan Multimodal: Dari Spesialis hingga Asisten Paket Umum
Chunyuan Li, Zhe Gan, Zhengyuan Yang, Jianwei Yang, Linjie Li, LiJuan Wang, Jianfeng Gao
ARXIV 2023, [kertas] [halaman web]
18 Sep 2023
