LLaMA Paper List

Lista de paper de lhama

Coleção de papéis usando o LLama como modelo de backbone.

Colaboradores

Índice

• Papel de lhama original
• Teoria relacionada com lhama
• Lhama com eficiência de parâmetro
• Tune Tune Lhama em tarefas a jusante
• Lhama combinado com multimodal
• Lhama com recuperação
• Lhama usando aprendizado de reforço
• Análise quantitativa da llama
• Solicitando lhama

Papéis

Papel de lhama original

• LLAMA: Modelos de linguagem de fundação abertos e eficientes. Arxiv 2023. Papel. código
  Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample
• LLAMA 2: Fundação aberta e modelos de bate-papo ajustados. Meta ai 2023. Papel. código
  Hugo Touvron, Louis Martin, Kevin Stone et al.
• O rebanho de modelos Llama 3. Arxiv 2024. Papel. código
  Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey et al.

Teoria relacionada com lhama

• Modelos de idiomas grandes são os meteorologistas de séries temporais zero. Neurips 2023. Papel. código
  Nate Gruver, Marc Finzi, Shikai Qiu, Andrew Gordon Wilson
• Treinamento Compute-Optimal Language Models. Neurips 2022. Papel.
  Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Cara, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre
• Raiz a normalização da camada quadrada média. Neurips 2019. Paper. código
  Biao Zhang, Rico Sennrich
• Variantes de Glu melhoram o transformador. Arxiv 2020. Papel. código
  Noam Orheador
• ROFORMER: transformador aprimorado com incorporação de posição rotativa. Arxiv 2021. Papel. código
  Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu
• A regularização de decaimento do peso dissociada. ICLR 2019. Paper. código
  Ilya Loshchilov, Frank Hutter
• A auto-atimento não precisa $ O (n^2) $ Memória. Arxiv 2021. Papel. código
  Markus N. Rabe e Charles Staats
• Flashattion: atenção exata rápida e com eficiência de memória com a consciência de IO. Arxiv 2022. Papel. código
  Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré
• Reduzindo a recomputação de ativação em grandes modelos de transformadores. Arxiv 2022. Papel.
  Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, Bryan Catanzaro

Lhama com eficiência de parâmetro

• Adapador de lhama: ajuste fino eficiente de modelos de linguagem com atenção zero. Arxiv 2023. Papel. código
  Zhang, Renrui e Han, Jiaming e Zhou, Aojun e Hu, Xiangfei e Yan, Shilin e Lu, Pan e Li, Hongsheng e Gao, Peng e Qiao, Yu
• LLAMA-ADAPTER V2: Modelo de Instrução Visual com eficiência de parâmetro. Arxiv 2023. Papel. código
  Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui He, Xiangyu Yue, Hongsheng Li, Yu Qiao
• LLM-AdApters: Uma família adaptadora para ajuste fino com eficiência de parâmetro de grandes modelos de linguagem. Arxiv 2023. Papel.
  Zhiqiang Hu, Yihuai Lan, Lei Wang, Wanyu Xu, Ee-Peng Lim, Roy Ka-Wei Lee, Lidong Bing, Xing Xu, Soujanya Poria
• Uma abordagem de poda simples e eficaz para grandes modelos de linguagem. Arxiv 2023. Papel. código
  Mingjie Sun, Zhuang Liu, Anna Bair, J. Zico Kolter
• LLM-PRUNER: Sobre a poda estrutural de grandes modelos de idiomas. Arxiv 2023. Papel. código
  Xinyin ma, gongfan fang, xinchao wang

Tune Tune Lhama em tarefas a jusante

• Gráfico de pensamentos: resolvendo problemas elaborados com grandes modelos de linguagem. AAAI 2024. Papel. código.
  Maciej Besta, Nils Blach, Ales Kubicek et al.
• Até onde os camelos podem ir? Explorando o estado da instrução Ajustando os recursos abertos. Neurips 2023. Papel. código
  Yizhong Wang, Hamish Ivison, Pradeep Dasigi et al.
• Auto-alinhamento orientado a princípios de modelos de idiomas do zero com o mínimo de supervisão humana. Neurips 2023. Papel. código
  Zhiqing Sun, Yikang Shen, Qinhong Zhou et al.
• Chatdoctor: Um modelo de bate-papo médico ajustou em um grande modelo de idioma meta-AI (LLAMA) usando o conhecimento do domínio médico. Arxiv 2023. Papel.
  Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan, Steve Jiang, You Zhang
• Texto eficiente e eficaz codificando para lhama e alpaca chineses. Arxiv 2023. Papel. código
  Yiming cui, ziqing yang, xin yao
• PMC-LLAMA: FINETUNING LLAMA em documentos médicos. Arxiv 2023. Papel.
  Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
• Dr. LLAMA: Melhorando os pequenos modelos de idiomas no PubMedQA por aumento generativo de dados. Arxiv 2023. Papel.
  Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
• A cabra: a llama ajustada supera o GPT-4 em tarefas aritméticas. Arxiv 2023. Papel.
  Tiedong Liu, Bryan Kian Hsiang Low
• Assistente: Empoderando grandes modelos de linguagem para seguir instruções complexas. Arxiv 2023. Papel. código
  Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Daxin Jiang
• Aprimorando os modelos de linguagem de bate-papo, dimensionando conversas instrucionais de alta qualidade. Arxiv 2023. Papel. código
  Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou
• Longform: otimizando o ajuste de instrução para geração de texto longa com extração de corpus. Arxiv 2023. Papel. código
  Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schütze
• Simuladores de usuário de aprendizado no contexto para sistemas de diálogo orientados a tarefas. Arxiv 2023. Papel. código
  Silvia Terragni, Modestas Filipavicius, Nghia Khau, Bruna Guedes, André Manso, Roland Mathis
• NETGPT: Uma arquitetura de rede nativa-AI além do fornecimento de serviços generativos personalizados. Arxiv 2023. Papel. código
  Yuxuan Chen, Rongpeng Li, Zhifeng Zhao, Chenghui Peng, Jianjun Wu, Ekram Hossain, Honggang Zhang
• Sobre a arquitetura somente para decodificador para integração de fala para texto e grande modelo de linguagem. Arxiv 2023. Papel. código
  Jian Wu, Yashesh Gaur, Zhuo Chen, Long Zhou, Yimeng Zhu, Tianrui Wang, Jinyu Li, Shujie Liu, Bo Ren, Linquan Liu, Yu Wu

Lhama combinado com multimodal

• MMMU: Um enorme entendimento multimodal multidisciplinar e referência de raciocínio para o especialista AGI. CVPR 2024. Papel. código
  Xiang Yue, Yuansheng NI, Kai Zhang et al.

Lhama com recuperação

• Poliglota ou não? Medir a recuperação do conhecimento enciclopédico multilíngue a partir de modelos de idiomas de fundação. Arxiv 2023. Papel. código
  Tim Schott, Daniel Furman, Shreshta Bhat
• Rewoo: Desaparelar o raciocínio de observações para o artigo eficiente dos modelos de idiomas aumentados . código
  Binfeng Xu, Zhiyuan Peng, Bowen Lei, Subhabrata Mukherjee, Yuchen Liu, Dongkuan Xu
• Atenção de referência: Comprimento do contexto infinito de acesso aleatório para transformadores. Arxiv 2023. Papel. código
  Amirkeivan Mohtashami, Martin Jaggi

Lhama usando aprendizado de reforço

• Lima: Menos é mais para o alinhamento. Arxiv 2023. Papel. código
  Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe MA, Avie Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke ZettleMoyer, Omer Levy
• RRHF: Respostas de classificação para alinhar modelos de linguagem com feedback humano sem lágrimas. papel. código
  Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang, Fei Huang

Análise quantitativa da llama

• SPQR: Uma representação usada esparsa para a compressão de peso LLM quase sem perdas. Arxiv 2023. Papel. código
  Tim Dettmers, Ruslan Svirschevski, Egiazarian de Vage, Denis Kuznedelev, Elias Frantar, Saleh Ashkboos, Alexander Borzunov, Torsten Hoefler, Dan Alistarh
• Squeezellm: quantização densa e pouca. Arxiv 2023. Papel. código
  Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer

Solicitando lhama

• Solicitando grandes modelos de linguagem para adaptação de domínio zero no reconhecimento de fala. . Arxiv 2023. Papel.
  Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

Como contribuir

As contribuições são bem -vindas! Consulte Contribuindo.md para diretrizes de contribuição.