Awesome LLM Self Consistency
1.0.0
Aprendiz de autoconsistência LLM: uma lista com curadoria de autoconsistência em grandes modelos de idiomas
Esse repositório, chamado de autoconsistência do LLMS , contém uma coleção de recursos e artigos sobre autoconsistência em grandes modelos de idiomas .
" Não consigo ver um caminho que garante segurança. Estamos entrando em um período de grande incerteza em que estamos lidando com coisas com as quais nunca lidamos antes, e não podemos dar ao luxo de entender errado com essas coisas porque elas podem assumir o controle".
Bem -vindo ao compartilhar seus documentos, pensamentos e idéias enviando um problema!
Ensinar modelos de idiomas à razão
Denny Zhou, Google Deepmind
[Link]
Setembro de 2023
O caminho para a inteligência geral artificial: insights do diálogo adversário LLM
Edward Y. Chang
Socrasynth.com, [link]
Março de 2024
Modelos de fundação para processamento de linguagem natural: modelos de idiomas pré-treinados integrando mídia
Gerhard Paaß, Sven Giesselbach
Inteligência Artificial: Fundamentos, Teoria e Algoritmos (Springer Nature), [Link]
16 de fevereiro de 2023
GSM8K-Consistência :
Consistência do raciocínio aritmético na referência GSM8K
Shuyue Jia
Abraçando o rosto 2023, [Abraçando o rosto] [Github]
01 de dezembro de 2023
GSM8K :
Verificadores de treinamento para resolver problemas de palavras matemáticas
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, John Schulman
Arxiv 2021, [Paper] [Github] [postagem do blog]
18 de novembro de 2021
Singeq :
Analisando problemas de palavras algébricas em equações
Rik Koncel-Kedziorski, Hannaneh Hajishirzi, Ashish Sabharwal, Oren Etzioni, Siena Dumas Ang
TACL 2015, [Paper] [Gitlab]
24 de junho de 2015
AddSub :
Aprendendo a resolver problemas de palavras aritméticas com categorização verbal
Mohammad Javad Hosseini, Hannaneh Hajishirzi, Oren Etzioni, Nate Kushman
EMNLP 2014, [Paper] [Gitlab]
25 de outubro de 2014
Multiarith :
Resolvendo problemas gerais de palavras aritméticas
Subhro Roy, Dan Roth
EMNLP 2015, [Paper] [Página da Web]
17 de setembro de 2015
Aqua-rat :
Indução do programa por geração de justificativa: Aprendendo a resolver e explicar problemas de palavras algébricas
Wang Ling, Dani Yogatama, Chris Dyer, Phil Blunsom
ACL 2017, [Paper] [Github]
30 de julho de 2017
Svamp :
Os modelos de PNL são realmente capazes de resolver problemas simples de palavras matemáticas?
Arkil Patel, Satwik Bhattamishra, Navin Goyal
NAACL 2021, [Paper] [Github]
6 de julho de 2021
Asdiv :
Um corpus diversificado para avaliar e desenvolver solucionadores de problemas de palavras matemáticas inglesas
Shen-Yun Miao, Chao-Chun Liang, Keh-Yih Su
ACL 2020, [Paper] [Github]
5 de julho de 2020
CSQA :
Commonsenseqa: um desafio de resposta a perguntas direcionando conhecimento do senso comum
Alon Talmor, Jonathan Herzig, Nicholas Lourie, Jonathan Berant
NAACL 2019, [Paper] [página da web]
15 de março de 2019
Becel :
BECEL: referência para avaliação de consistência de modelos de idiomas
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [Paper] [Github]
12 de outubro de 2022
Perguntas parafraseadas ao esquadrão :
Melhorando a robustez dos sistemas de resposta a perguntas para questionar parafrasear
Wee chung gan, hwee tou ng
ACL 2019, [Paper] [Github]
28 de julho de 2019
Becel :
BECEL: referência para avaliação de consistência de modelos de idiomas
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Coling 2022, [Paper] [Github]
12 de outubro de 2022
Duas falhas de autoconsistência no raciocínio de várias etapas do LLMS
Angelica Chen, Jason Phang, Alicia Parrish, Vishakh Padmakumar, Chen Zhao, Samuel R. Bowman, Kyunghyun Cho
Arxiv 2023, [papel]
2 de outubro de 2023
mpararel :
MPARAREL: Consistência factual de modelos multilíngues de idiomas pré -tenhados
Constanza Fierro, Anders Søgaard
Achados do ACL: ACL 2022, [Paper] [GitHub]
22 de março de 2022
Pararel :
Pararel: Metal :: Medindo e melhorando a consistência em modelos de idiomas pré -teremia
Yanai Elazar, Nora Kassner, Shauli Ravfogel, Abhilasha Ravichander, Eduard Hovy, Hinrich Schütze, Yoav Goldberg
TACL 2021, [Paper] [Github] [Apresentação]
29 de maio de 2021
Math-Shepherd: Verifique e reforce llms passo a passo sem anotações humanas
Peiyi Wang, Lei Li, Zhihong Shao, Rx Xu, Damai Dai, Yifei Li, Deli Chen, Y.Wu, Zhifang Sui
Arxiv 2023, [papel]
28 de dezembro de 2023
Uma pesquisa de raciocínio com modelos de fundação
Jiankai Sun, Chuanyang Zheng, Enze Xie, Zhengying Liu, Ruihang Chu, Jianing Qiu, Jiaqi Xu, Mingyu Ding, Hongyang Li, Mengzhe Geng, Yue Wu, Wehai Wang, Junnsong Chen, Zhangyeehuehueh, Xia, Wuhai, Junnsong Chen, Zhangyuehuehuehueh, Xia, Wehai, Junnsong Chen, Zhangyuehueh, Qi Liu, Xihui Liu, Yu Li, Hao Dong, Yu Cheng, Ming Zhang, Pheng Ann Heng, Jifeng Dai, Ping Luo, Jingdong Wang, Ji-Rong Wen, Xipeng Qiu, Yike Guo, Hui Xiong, Qun Liu, Zhguo
Arxiv 2023, [Paper] [Github]
26 de dezembro de 2023
O aumento de consulta e resposta não pode ajudar a generalização de raciocínio matemático fora do domínio
Chengpeng Li, Zheng Yuan, Hongyi Yuan, Guanting Dong, Keming Lu, Jiancan Wu, Chuanqi Tan, Xiang Wang, Chang Zhou
Arxiv 2023, [Paper] [Github]
1 de novembro de 2023
Metamath: Bootstrap suas próprias questões matemáticas para modelos de idiomas grandes
Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, Weiyang Liu
Arxiv 2023, [Paper] [Github]
9 de outubro de 2023
Modelos de idiomas grandes são melhores motivadores com auto-verificação
Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Shengping Liu, Bin Sun, Kang Liu, Jun Zhao
EMNLP 2023 ACLUTAS, [Paper] [GitHub]
19 de outubro de 2023
Raciocínio com o Modelo de Linguagem Promoting: Uma Pesquisa
Shuofei Qiao, Yixin Ou, Ningyu Zhang, Xiang Chen, Yunzhi Yao, Shumin Deng, Chuanqi Tan, Fei Huang, Huajun Chen
ACL 2023, [Paper] [Github]
18 de setembro de 2023
Relacionamento de escala no aprendizado de raciocínio matemático com grandes modelos de idiomas
Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, Jingren Zhou
Arxiv 2023, [Paper] [Github]
3 de agosto de 2023
Modelos de linguagem grandes podem ser facilmente distraídos pelo contexto irrelevante
Freda Shi, Xinyun Chen, Kanishka Misra, Nathan Scales, David Dohan, Ed Chi, Nathanael Schärli, Denny Zhou
ICML 2023, [Paper] [Github]
6 de junho de 2023
Rumo ao raciocínio em grandes modelos de idiomas: uma pesquisa
Jie Huang, Kevin Chen-Chuan Chang
Achados da ACL 2023, [Paper] [Github]
26 de maio de 2023
Auto-refinado: refinamento iterativo com auto-feedback
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
ARXIV 2023, [Paper] [Github] [página da web]
25 de maio de 2023
Auto-refinado: refinamento iterativo com auto-feedback
Aman Madaan, Niket Tandon, Prakhar Gupta, Skyler Hallinan, Luyu Gao, Sarah Wiegreffe, Uri Alon, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, Shashank Gupta, Bodhisattwa Prasad Majumder, Katherine Hermann, Sean Welleck, Amir Yazdanbakhsh, Peter Clark
Arxiv 2023, [Paper] [Site] [Github] [Demo]
25 de maio de 2023
Vamos provar passo a passo: consistência adaptativa para raciocínio eficiente com LLMS
Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
Arxiv 2023, [Paper] [Site] [Github]
19 de maio de 2023
A autoconsistência melhora o raciocínio da cadeia de pensamentos em modelos de idiomas
Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, Denny Zhou
ICLR 2023, [papel]
7 de março de 2023
Cadeia de pensamento provocando provas o raciocínio em grandes modelos de idiomas
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou
Neurips 2022, [papel]
28 de janeiro de 2022
Consistência semântica por garantir a confiabilidade de grandes modelos de linguagem
Harsh Raj, Vipul Gupta, Domenic Rosati, Subhabrata Majumdar
Arxiv 2023, [papel]
17 de agosto de 2023
Medindo a confiabilidade de grandes modelos de linguagem através da consistência semântica
Harsh Raj, Domenic Rosati, Subhabrata Majumdar
ML Workshop de segurança, Neurips 2022, [papel]
28 de novembro de 2022
Consistência imediata para generalização da tarefa zero-tiro
Chunting Zhou, Junxian He, Xuezhe MA, Taylor Berg-Kirkpatrick, Graham Neubig
Achados do ACL: EMNLP 2022, [Paper] [Github]
27 de dezembro de 2022
Preciso, mas inconsistente? Análise de consistência em modelos de entendimento de idiomas
Myeongjun Jang, Deuk Sin Kwon, Thomas Lukasiewicz
Arxiv 2021, [papel]
15 de agosto de 2021
Evolução da similaridade semântica - uma pesquisa
Dhivya Chandrasekaran, Vijay Mago
Pesquisa de Computação ACM 2021, [Paper]
30 de janeiro de 2021
Melhorando a autoconsistência e o desempenho dos modelos de linguagem pré-treinados por meio de inferência de linguagem natural
Eric Mitchell, Joseph Noh, Siyan Li, Will Armstrong, Ananth Agarwal, Patrick Liu, Chelsea Finn, Christopher Manning
EMNLP 2022, [Paper] [Site] [GitHub]
21 de novembro de 2022
RCOT: Detectar e retificar a inconsistência factual no raciocínio, revertendo a cadeia de pensamento
Tianci Xue, Ziqi Wang, Zhenhailong Wang, Chi Han, Pengfei Yu, Heng Ji
Arxiv 2023, [papel]
2 de outubro de 2023
P-adaptadores: Extraindo robustamente informações factuais de modelos de idiomas com diversos prompts
Benjamin Newman, Prafulla Kumar Choubey, Nazneen Rajani
ICLR 2022, [Paper] [Github]
19 de abril de 2022
Como podemos saber quais modelos de idiomas sabem?
Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig
TACL 2020, [Paper] [Github]
3 de maio de 2020
BIOMEDGPT: um transformador generativo unificado e generalista e generativo para tarefas pré-treinadas para visão, linguagem e multimodais
Kai Zhang, Jun Yu, Eashan Adhikarla, Rong Zhou, Zhiling Yan, Yixin Liu, Zhengliang Liu, Lifang He, Brian Davison, Xiang Li, Hui Ren, Sunyang Fu, James Zou, Wei Liu, Jing Huang, Chen Chen, Yuyin Zhou, Tianming Liu, Xun Chen, Yong Chen, Quanzheng Li, Hongfang Liu, Lichao Sun
Arxiv 2024, [Paper] [Github]
9 de janeiro de 2024
Os grandes modelos de idiomas podem raciocinar sobre questões médicas?
Valentin Liévin, Christoffer Egeberg Hother, Andreas Geert Motzfeldt, Ole Wiinther
Arxiv 2023, [Paper] [Github]
24 de dezembro de 2023
Para a IA biomédica generalista
Tao Tu, Shekoofeh Azizi, Danny Driess, Mike Schaekermann, Mohamed Amin, Pi-Chuan Chang, Andrew Carroll, Chuck Lau, Ryutaro Tanno, Ira Ktena, Basil Mustafa, Aakanksha Chowdhery, Yun Liu, Simon Kornblith, David Fleet, Philip Mansfield, Sushant Prakash, Renee Wong, Sunny Virmani, Christopher Semturs, S Sara Mahdavi, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Karan Singhal, Pete Florence, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [Paper] [Github]
26 de julho de 2023
LLAVA-MED: Treinando um grande assistente de idioma e visão para biomedicina em um dia
Chunyuan Li, Cliff Wong, Sheng Zhang, Naoto Usuyama, Haotian Liu, Jianwei Yang, Tristan Naumann, Hoifung Poon, Jianfeng Gao
Arxiv 2023, [Paper] [Github]
1 de junho de 2023
Para responder a perguntas médicas em nível especializado com grandes modelos de idiomas
Karan Singhal, Tao Tu, Juraj Gottweis, Rory Sayres, Ellery Wulczyn, Le Hou, Kevin Clark, Stephen Pfohl, Heather Cole-Lewis, Darlene Neal, Mike Schaekermann, Amy Wang, Mohamed Amin, Sami Lachgar, Philip Mansfield, Sushant Prakash, Bradley Green, Ewa Dominowska, Blaise Aguera y Arcas, Nenad Tomasev, Yun Liu, Renee Wong, Christopher Semturs, S. Sara Mahdavi, Joelle Barral, Dale Webster, Greg S. Corrado, Yossi Matias, Shekoofeh Azizi, Alan Karthikesalingam, Vivek Natarajan
Arxiv 2023, [papel]
16 de maio de 2023
Modelos de idiomas grandes codificam conhecimento clínico
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Aguera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, Vivek Natarajan
Natureza, [papel]
26 de dezembro de 2022
Modelos de fundação multimodais: de especialistas a assistentes de uso geral
Chunyuan Li, Zhe Gan, Zhengyuan Yang, Jianwei Yang, Linjie Li, Lijuan Wang, Jianfeng Gao
Arxiv 2023, [Paper] [página da web]
18 de setembro de 2023
