LLaMA Paper List

Liste de papier lame

Collection d'articles utilisant LLAMA comme modèle d'écran.

Contributeurs

Table des matières

• Papier de lama original
• Théorie connexe avec lama
• Lama avec efficacité des paramètres
• Affinez le lama sur les tâches en aval
• Lama combinée avec plusieurs modales
• Lama avec récupération
• Lama utilisant l'apprentissage du renforcement
• Analyse quantitative du lama
• Inviter lama

Papiers

Papier de lama original

• LLAMA: Modèles de langue de base ouverts et efficaces. Arxiv 2023. Papier. code
  Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothee Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample
• LLAMA 2: Modèles de discussion ouverts et affinés. Meta Ai 2023. Papier. code
  Hugo Touvron, Louis Martin, Kevin Stone et al.
• Le troupeau de modèles lama 3. Arxiv 2024. Papier. code
  Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey et al.

Théorie connexe avec lama

• Les modèles de grands langues sont des prévisionnistes de séries chronologiques à tirs zéro. Neirips 2023. Papier. code
  Nate Gruver, Marc Finzi, Shikai Qiu, Andrew Gordon Wilson
• Formation des modèles de grand langage calculiers. Neirips 2022. Papier.
  Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre
• Normalisation de la couche carrée moyenne des racines. Neirips 2019. Paper. code
  Biao Zhang, Rico Sennrich
• Les variantes Glu améliorent le transformateur. Arxiv 2020. Papier. code
  Noam Shazeer
• ROFORMER: Transformateur amélioré avec incorporation de position rotative. Arxiv 2021. Papier. code
  Jianlin Su, Yu Lu, Shengfeng PAN, Ahmed Murtadha, Bo Wen, Yunfeng Liu
• Régularisation de désintégration du poids découplé. ICLR 2019. Paper. code
  Ilya Loshchilov, Frank Hutter
• L'auto-attention n'a pas besoin $ O (n ^ 2) $ Mémoire. Arxiv 2021. Papier. code
  Markus N. Rabe et Charles Staats
• FlashAtttention: une attention exacte rapide et économe en mémoire avec la conscience de l'IO-Io. Arxiv 2022. Papier. code
  Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré
• Réduire l'activation Recomputation dans les grands modèles de transformateurs. Arxiv 2022. Papier.
  Vijay Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, Mohammad Shoeybi, Bryan Catanzaro

Lama avec efficacité des paramètres

• LLAMA-ADAPTER: Affinement efficace des modèles de langue avec une attention nul. Arxiv 2023. Papier. code
  Zhang, Renrui et Han, Jiaming et Zhou, Aojun et Hu, Xiangfei et Yan, Shilin et Lu, Pan et Li, Hongsheng et Gao, Peng et Qiao, Yu
• LLAMA-ADAPTER V2: modèle d'instruction visuelle économe en paramètres. Arxiv 2023. Papier. code
  Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui He, Xiangyu Yue, Hongsheng Li, Yu Qiao
• LLM-Adaptères: une famille d'adaptateurs pour le réglage fin économe en paramètres des modèles de gros langues. Arxiv 2023. Papier.
  Zhiqiang Hu, Yihuai Lan, Lei Wang, Wanyu Xu, Ee-Peng Lim, Roy Ka-Wei Lee, Lidong Bing, Xing Xu, Soujanya Poria
• Une approche d'élagage simple et efficace pour les modèles de grands langues. Arxiv 2023. Papier. code
  Mingjie Sun, Zhuang Liu, Anna Bair, J. Zico Kolter
• LLM-PRUNER: sur l'élagage structurel des modèles de grands langues. Arxiv 2023. Papier. code
  Xinyin MA, Gongfan Fang, Xinchao Wang

Affinez le lama sur les tâches en aval

• Graphique des pensées: résoudre des problèmes élaborés avec de grands modèles de langue. AAAI 2024. Papier. code.
  Maciej Bestta, Nils Blach, Ales Kubicek et al.
• Jusqu'où les chameaux peuvent-ils aller? Exploration de l'état de réglage des instructions sur les ressources ouvertes. Neirips 2023. Papier. code
  Yizhong Wang, Hamish Ivison, Pradeep Dasigi et al.
• Auto-alignement axé sur les principes des modèles de langage à partir de zéro avec une supervision humaine minimale. Neirips 2023. Papier. code
  Zhiqing Sun, Yikang Shen, Qinhong Zhou et al.
• ChatDoctor: un modèle de chat médical a affiné un modèle de langue large méta-ai (lama) utilisant des connaissances du domaine médical. Arxiv 2023. Papier.
  Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan, Steve Jiang, You Zhang
• Encodage de texte efficace et efficace pour le lama chinois et l'alpaga. Arxiv 2023. Papier. code
  Yiming Cui, Ziqing Yang, Xin Yao
• PMC-LALAMA: Plus de Finetuning Llama sur les papiers médicaux. Arxiv 2023. Papier.
  Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
• Dr. Llama: Amélioration des modèles de petits langues sur PubMedqa via une augmentation générative des données. Arxiv 2023. Papier.
  Zhen Guo, Peiqi Wang, Yanwei Wang, Shangdi Yu
• Chèvre: le lama fini fin surpasse GPT-4 sur les tâches arithmétiques. Arxiv 2023. Papier.
  Tiedong Liu, Bryan Kian Hsiang Low
• Wizardlm: autonomiser les modèles de grande langue pour suivre les instructions complexes. Arxiv 2023. Papier. code
  Peut Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Daxin Jiang
• Amélioration des modèles de langage de chat en étendant les conversations pédagogiques de haute qualité. Arxiv 2023. Papier. code
  Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou
• LongForm: Optimisation du réglage des instructions pour une longue génération de texte avec l'extraction du corpus. Arxiv 2023. Papier. code
  Abdullatif Köksal, Timo Schick, Anna Korhonen, Hinrich Schütze
• Simulateurs d'utilisateurs d'apprentissage en contexte pour les systèmes de dialogue axés sur les tâches. Arxiv 2023. Papier. code
  Silvia Terragni, Modestas Filipavicius, Nghia Khau, Bruna Guedes, André Manso, Roland Mathis
• NetGPT: Une architecture de réseau native-AI au-delà de l'approvisionnement des services génératifs personnalisés. Arxiv 2023. Papier. code
  Yuxuan Chen, Rongpeng Li, Zhifeng Zhao, Chenghui Peng, Jianjun Wu, Ekram Hossain, Hongang Zhang
• Sur l'architecture du décodeur uniquement pour l'intégration de la parole au texte et du modèle grand. Arxiv 2023. Papier. code
  Jian Wu, Yashesh Gaur, Zhuo Chen, Long Zhou, Yimeng Zhu, Tianrui Wang, Jinyu Li, Shujie Liu, Bo Ren, Linquan Liu, Yu Wu

Lama combinée avec plusieurs modales

• MMMU: une compréhension multimodale multidiscipline massive et une référence de raisonnement pour l'expert AGI. CVPR 2024. Papier. code
  Xiang Yue, Yuansheng NI, Kai Zhang et al.

Lama avec récupération

• Polyglotte ou pas? Mesurer la récupération des connaissances encyclopédiques multilingues à partir de modèles de langue de base. Arxiv 2023. Papier. code
  Tim Schott, Daniel Furman, Shreshta Bhat
• REWOO: Découplage du raisonnement des observations pour des modèles de langage augmentés efficaces . code
  Binfeng Xu, Zhiyuan Peng, Bowen Lei, Subhabrata Mukherjee, Yuchen Liu, Dongkuan Xu
• Attention historique: Longueur de contexte infini à accès aléatoire pour les transformateurs. Arxiv 2023. Papier. code
  Amirkeivan Mohtashami, Martin Jaggi

Lama utilisant l'apprentissage du renforcement

• Lima: Moins est plus pour l'alignement. Arxiv 2023. Papier. code
  Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe MA, Avia Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, Omer Levy
• RRHF: classez les réponses à aligner les modèles de langue avec la rétroaction humaine sans larmes. papier. code
  Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang, Fei Huang

Analyse quantitative du lama

• SPQR: une représentation clairsemée pour la compression de poids LLM presque sans perte. Arxiv 2023. Papier. code
  Tim Dettmers, Ruslan Svirschevski, Vage Egiazarian, Denis Kuznedelev, Elias Frantar, Saleh Ashkboos, Alexander Borzunov, Torsten Hoefler, Dan Alistarh
• Squeezellm: quantification dense et séparée. Arxiv 2023. Papier. code
  Sehoon Kim, Coleman Hooper, Amir Gholami, Zhen Dong, Xiuyu Li, Sheng Shen, Michael W. Mahoney, Kurt Keutzer

Inviter lama

• Incité à de grands modèles de langage pour une adaptation de domaine zéro dans la reconnaissance de la parole. . Arxiv 2023. Papier.
  Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

Comment contribuer

Les contributions sont les bienvenues! Veuillez vous référer à contribution.md pour les directives de contribution.