Awesome LLM Self Consistency
1.0.0
굉장한 LLM 자기 컨설턴트 : 대형 언어 모델에서 큐 레이션 된 자기 일관성 목록
LLM의 자기 일관성 이라고하는이 저장소에는 대형 언어 모델 에서 자기 일관성에 관한 자원과 논문 모음이 포함되어 있습니다.
" 나는 안전을 보장하는 길을 볼 수 없다. 우리는 우리가 전에는 결코 다루지 않은 것들을 다루고있는 큰 불확실성의시기에 들어가고 있으며, 이런 것들이 인수 할 수 있기 때문에 문제를 해결할 여유가 없다. " - Geoffrey Hinton, Toronto 대학의 컴퓨터 과학과 교수 2023 년 10 월 5 일.
문제를 제출하여 논문, 생각 및 아이디어를 공유 할 수 있습니다!
언어 모델을 추론하십시오
Denny Zhou, Google Deepmind
[링크]
2023 년 9 월
인공 일반 정보의 길 : 적대적 LLM 대화의 통찰력
에드워드 Y. 창
socrasynth.com, [링크]
2024 년 3 월
자연어 처리를위한 기초 모델 : 미디어 통합 미리 훈련 된 언어 모델
Gerhard Paaß, Sven Giesselbach
인공 지능 : 기초, 이론 및 알고리즘 (Springer Nature), [Link]
2023 년 2 월 16 일
GSM8K 일관성 :
GSM8K 벤치 마크에서 산술 추론의 일관성
Shuyue Jia
포옹 페이스 2023, [포옹 얼굴] [github]
2023 년 12 월 1 일
GSM8K :
수학 단어 문제를 해결하기위한 검증 자
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Hewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman
Arxiv 2021, [종이] [Github] [블로그 게시물]
2021 년 11 월 18 일
SingleEQ :
대수 단어 문제를 방정식으로 구문 분석합니다
Rik Koncel-Kedziorski, Hannaneh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang
TACL 2015, [종이] [gitlab]
2015 년 6 월 24 일
AddSub :
동사 분류로 산술 단어 문제를 해결하는 법을 배웁니다
Mohammad Javad Hosseini, Hannaneh Hajishirzi, Oren Etzioni, Nate Kushman
EMNLP 2014, [종이] [gitlab]
2014 년 10 월 25 일
멀티리스 :
일반적인 산술 단어 문제 해결
Subhro Roy, Dan Roth
EMNLP 2015, [종이] [웹 페이지]
2015 년 9 월 17 일
Aqua-Rat :
이론적 근거에 의한 프로그램 유도 : 대수 단어 문제를 해결하고 설명하는 학습
Wang Ling, Dani Yogatama, Chris Dyer, Phil Blunsom
ACL 2017, [종이] [Github]
2017 년 7 월 30 일
SVAMP :
NLP 모델이 실제로 간단한 수학 단어 문제를 해결할 수 있습니까?
Arkil Patel, Satwik Bhattamishra, Navin Goyal
NAACL 2021, [종이] [Github]
2021 년 7 월 6 일
ASDIV :
영어 수학 단어 문제 해결사를 평가하고 개발하기위한 다양한 코퍼스
Shen-Yun Miao, Chao-Chun Liang, Keh-Yih Su
ACL 2020, [종이] [Github]
2020 년 7 월 5 일
CSQA :
CommonsenseQa : 상식 지식을 목표로하는 도전에 대한 질문에 대한 질문
Alon Talmor, Jonathan Herzig, Nicholas Lourie, Jonathan Berant
NAACL 2019, [종이] [웹 페이지]
2019 년 3 월 15 일
BECEL :
BECEL : 언어 모델의 일관성 평가를위한 벤치 마크
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [종이] [Github]
2022 년 10 월 12 일
분대 분대 질문 :
질문 응답 시스템의 견고성 개선 문제의 말
Wee Chung Gan, hwee tou ng
ACL 2019, [종이] [Github]
2019 년 7 월 28 일
BECEL :
BECEL : 언어 모델의 일관성 평가를위한 벤치 마크
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [종이] [Github]
2022 년 10 월 12 일
LLM의 다단계 추론에서 두 가지 자기 일관성 실패
Angelica Chen, Jason Phang, Alicia Parrish, Vishakh Padmakumar, Chen Zhao, Samuel R. Bowman, Kyunghyun Cho
Arxiv 2023, [종이]
2023 년 10 월 2 일
MPARAREL :
MPARAREL : 다국어 사방 언어 모델의 사실 일관성
Constanza Fierro, Anders Søgaard
ACL의 결과 : ACL 2022, [종이] [Github]
2022 년 3 월 22 일
Pararel :
Pararel : 금속 :: 사전에 걸린 언어 모델에서 일관성을 측정하고 향상시킵니다
Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, Yoav Goldberg
TACL 2021, [종이] [GitHub] [프리젠 테이션]
2021 년 5 월 29 일
Math-Shepherd : 인간 주석없이 LLMS를 단계별로 확인하고 강화하십시오
Peiyi Wang, Lei Li, Zhihong Shao, Rx Xu, Damai Dai, Yifei Li, Deli Chen, Y.Wu, Zhifang Sui
Arxiv 2023, [종이]
2023 년 12 월 28 일
기초 모델에 대한 추론 조사
Jiankai Sun, Chuanyang Zheng, Enze Xie, Zhengying Liu, Ruihang Chu, Jianing Qiu, Jiaqi Xu, Mingyu Ding, Hongyang Li, Mengzhe Geng, Yue Wu, Wenhai Wang, Junsong Chen, Zhangyue Yin, Xiaoz, Jundian, Quohe Liu, Xihui Liu, Yu Li, Hao Dong, Yu Cheng, Ming Zhang, Pheng Ann Heng, Jifeng Dai, Ping Luo, Jingdong Wang, Ji-Rong Wen, Xipeng Qiu, Yike Guo, Hui Xiong, Qun Liu, Zhenguo Li
Arxiv 2023, [종이] [Github]
2023 년 12 월 26 일
쿼리 및 응답 확대는 도메인 외 수학 추론 일반화를 도울 수 없습니다.
Chengpeng Li, Zheng Yuan, Hongyi Yuan, Guanting Dong, Keming Lu, Jiancan Wu, Chuanqi Tan, Xiang Wang, Chang Zhou
Arxiv 2023, [종이] [Github]
2023 년 11 월 1 일
Metamath : 큰 언어 모델에 대한 자신의 수학적 질문 부트 스트랩
Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, Weiyang Liu
Arxiv 2023, [종이] [Github]
2023 년 10 월 9 일
대형 언어 모델은 자기 검증을 통해 더 나은 추론 자입니다
Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu HE, Shengping Liu, Bin Sun, Kang Liu, Jun Zhao
EMNLP 2023 결과, [종이] [Github]
2023 년 10 월 19 일
언어 모델 프롬프트와의 추론 : 설문 조사
Shuofei Qiao, Yixin ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen
ACL 2023, [종이] [Github]
2023 년 9 월 18 일
큰 언어 모델로 수학적 추론 학습에 대한 관계 스케일링 관계
Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, Jingren Zhou
Arxiv 2023, [종이] [Github]
2023 년 8 월 3 일
큰 언어 모델은 관련없는 맥락에 의해 쉽게 산만해질 수 있습니다.
Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, Denny Zhou
ICML 2023, [종이] [Github]
2023 년 6 월 6 일
큰 언어 모델의 추론을 향해 : 설문 조사
Jie Huang, Kevin Chen-Chuan Chang
ACL 2023의 발견, [종이] [Github]
2023 년 5 월 26 일
자기 반주 : 자기 피드백으로 반복적 인 정제
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck.
Arxiv 2023, [종이] [Github] [웹 페이지]
2023 년 5 월 25 일
자기 반주 : 자기 피드백으로 반복적 인 정제
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck.
arxiv 2023, [종이] [웹 사이트] [github] [데모]
2023 년 5 월 25 일
단계별로 샘플링하자 : LLMS를 사용한 효율적인 추론을위한 적응 형 균일성
Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
Arxiv 2023, [종이] [웹 사이트] [Github]
2023 년 5 월 19 일
자기 일관성은 언어 모델에서 사고 추론의 사슬을 향상시킵니다
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc LE, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023, [종이]
2023 년 3 월 7 일
생각을 기울이는 체인은 큰 언어 모델에서 추론을 유도합니다
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc LE, Denny Zhou
Neurips 2022, [종이]
2022 년 1 월 28 일
대형 언어 모델의 신뢰성을 보장하기위한 시맨틱 일관성
Harsh Raj, Vipul Gupta, Domenic Rosati, Subhabrata Majumdar
Arxiv 2023, [종이]
2023 년 8 월 17 일
시맨틱 일관성을 통해 대형 언어 모델의 신뢰성을 측정합니다
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
ML 안전 워크숍, Neurips 2022, [종이]
2022 년 11 월 28 일
제로 샷 작업 일반화에 대한 신속한 일관성
Chunting Zhou, Junxian HE, Xuezhe MA, Taylor Berg-Kirkpatrick, Graham Neubig
ACL의 결과 : EMNLP 2022, [종이] [GitHub]
2022 년 12 월 27 일
정확하지만 일관성이 없습니까? 언어 이해 모델에 대한 일관성 분석
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Arxiv 2021, [종이]
2021 년 8 월 15 일
의미 론적 유사성의 진화 - 조사
Dhivya Chandrasekaran, Vijay Mago
ACM 컴퓨팅 설문 조사 2021, [종이]
2021 년 1 월 30 일
자연 언어 추론을 통한 미리 훈련 된 언어 모델의 일관성 및 성과 향상
Eric Mitchell, Joseph Noh, Siyan Li, Will Armstrong, Ananth Agarwal, Patrick Liu, Chelsea Finn, Christopher Manning
Emnlp 2022, [종이] [웹 사이트] [Github]
2022 년 11 월 21 일
RCOT : 생각의 체인을 뒤집어 추론의 사실 불일치 감지 및 수정
Tianci Xue, Ziqi Wang, Zhenhailong Wang, Chi Han, Pengfei Yu, Heng Ji
Arxiv 2023, [종이]
2023 년 10 월 2 일
P- 어셈터 : 다양한 프롬프트가있는 언어 모델에서 사실 정보를 강력하게 추출
Benjamin Newman, Prafulla Kumar Choubey, Nazneen Rajani
ICLR 2022, [종이] [Github]
2022 년 4 월 19 일
언어 모델이 무엇을 알고 있는지 어떻게 알 수 있습니까?
Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig
TACL 2020, [종이] [Github]
2020 년 5 월 3 일
BioMedGpt : 시력, 언어 및 멀티 모달 작업을위한 통일 및 일반 생물 의학 생성 사전 훈련 변압기
Kai Zhang, Jun Yu, Eashan Adhikarla, Rong Zhou, Zhiling Yan, Yixin Liu, Zhengliang Liu, Lifang He, Brian Davison, Xiang Li, Hui Ren, Sunyang Fu, James Zou, Wei Liu, Jing Huang, Chen Chen, Yuyin Zhou, Tianming Liu, Xunming. Quanzheng Li, Hongfang Liu, Lichao Sun
Arxiv 2024, [종이] [Github]
2024 년 1 월 9 일
대형 언어 모델이 의학적 질문에 대한 이유가 있습니까?
Valentin Liévin, Christoffer Egeberg Hother, Andreas Geert Motzfeldt, Ole Winther
Arxiv 2023, [종이] [Github]
2023 년 12 월 24 일
일반 생물 의학 AI를 향해
Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Discafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfiel Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, EWA Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Karthikesalingam, Vivekajan
Arxiv 2023, [종이] [Github]
2023 년 7 월 26 일
llava-med : 하루에 생체 의료에 대한 대형 언어 및 vision 보조원 훈련
Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
Arxiv 2023, [종이] [Github]
2023 년 6 월 1 일
대형 언어 모델로 응답하는 전문가 수준 의료 질문으로
Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfifff, Sushant Prade Prade, E. Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [종이]
2023 년 5 월 16 일
큰 언어 모델은 임상 지식을 인코딩합니다
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Myung Win Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakank Sharsa, Philip Mansfield, Blaise Aguera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, Vivek Natarajan
자연, [종이]
2022 년 12 월 26 일
멀티 모달 재단 모델 : 전문가부터 일반 목적 조수까지
Chunyuan Li, Zhe Gan, Zhengyuan Yang, Jianwei Yang, Linjie Li, Lijuan Wang, Jianfeng Gao
Arxiv 2023, [종이] [웹 페이지]
2023 년 9 월 18 일
