LLaMA Paper List

紫红色纸列表

使用美洲驼作为骨干模型的论文收集。

贡献者

目录

• 原始的骆驼纸
• 与美洲驼的相关理论
• 具有参数效率的美洲驼
• 在下游任务中微调骆驼
• 骆驼与多模式结合
• 骆驼检索
• 使用加固学习的骆驼
• 骆驼的定量分析
• 提示美洲驼

文件

原始的骆驼纸

• 骆驼：开放有效的基础语言模型。 Arxiv 2023。纸。代码
  Hugo Touvron，Thibaut Lavril，Gautier Izacard，Xavier Martinet，Marie-Anne Lachaux，TimothéeLacroix，BaptisteRozière，Naman Goyal，Eric Hambro，Faisal Azhar，Faisal Azhar，Aurelien Rodriguez，Arfriguez，Armand Joulder，Guillaind joullin，Guillaume，Guillaume，Guillaume，Guillaume，Guillaume，Guillaume Joubare Joume，吉利亚德·吉尔库鲁（Eduume Joular）
• 骆驼2：开放基础和微调聊天模型。 Meta AI 2023。纸。代码
  Hugo Touvron，Louis Martin，Kevin Stone等。
• Llama 3模型。 Arxiv 2024。纸。代码
  Abhimanyu Dubey，Abhinav Jauhri，Abhinav Pandey等。

与美洲驼的相关理论

• 大型语言模型是零弹性的时间序列预报员。神经2023。纸。代码
  Nate Gruver，Marc Finzi，Shikai Qiu，Andrew Gordon Wilson
• 培训计算最佳的大语言模型。神经2022。纸。
  乔丹·霍夫曼（Jordan Hoffmann），塞巴斯蒂安·博尔格（Sebastian Borgeaud），亚瑟·门施（Arthur Mensch），埃琳娜·布塔斯卡亚（Elena Buchatskaya），特雷弗·凯（Trevor Cai），伊丽莎·鲁特福德（Eliza Rutherford），迭戈·德·拉斯·卡萨斯（Diego de Las Casas），丽莎·安妮·亨德里克斯（Lisa Anne Hendricks），约翰内斯·韦尔布尔（Johannes Welbl），艾滋病盖伊（Guy），西蒙·奥西德（Simon Osindero），凯伦·西蒙纳（Karen Simonyan），埃里希·埃尔森（Erich Elsen），杰克·雷（Jack W.
• 根平方层归一化。 Neurips2019。论文。代码
  Biao Zhang，Rico Sennrich
• GLU变体可以改善变压器。 Arxiv 2020。纸。代码
  Noam Shazeer
• roformer：增强的变压器，具有旋转位置嵌入。 Arxiv 2021。纸。代码
  Jianlin Su，Yu Lu，Shengfeng Pan，Ahmed Murtadha，Bo Wen，Yunfeng Liu
• 重量衰减正则化。 ICLR2019。论文。代码
  Ilya Loshchilov，Frank Hutter
• 自我注意不需要 $ O（n^2）$记忆。 Arxiv 2021。纸。代码
  马库斯·纳（Markus N. Rabe）和查尔斯·斯塔特（Charles Staats）
• 闪存：具有IO意识的快速和记忆力精确的关注。 Arxiv 2022。纸。代码
  Tri Dao，Daniel Y. Fu，Stefano Ermon，Atri Rudra，ChristopherRé
• 在大型变压器模型中降低激活重新计算。 Arxiv 2022。纸。
  Vijay Korthikanti，Jared Casper，Sangkug Lym，Lawrence McAfee，Michael Andersch，Mohammad Shoeybi，Bryan Catanzaro

具有参数效率的美洲驼

• Llama-apapter：对语言模型的有效微调，并以零置的关注。 Arxiv 2023。纸。代码
  Zhang，Renrui和Han，Jiaming和Zhou，Aojun和Hu，Xiangfei和Yan，Shilin和Lu，Pan and Pan and Li，Hongsheng and Gao，Peng和Qiao，Yu，Yu
• Llama-apapter V2：参数有效的视觉指导模型。 Arxiv 2023。纸。代码
  Peng Gao，Jiaming Han，Renrui Zhang，Ziyi Lin，Shijie Geng，Aojun Zhou，Wei Zhang，Pan Lu，Conghui He，Xiangyu Yue，Hongsheng li，Yu Qiao
• LLM-适配器：用于大型语言模型参数有效微调的适配器家族。 Arxiv 2023。纸。
  Zhiqiang Hu，Yihuai Lan，Lei Wang，Wanyu Xu，Ee-Peng Lim，Roy Ka-Wei Lee，Lidong Bing，Xing Xu，Soujanya Poria
• 对于大型语言模型的简单有效的修剪方法。 Arxiv 2023。纸。代码
  Mingjie Sun，Zhuang Liu，Anna Bair，J。ZicoKolter
• LLM-Pruner：关于大语言模型的结构修剪。 Arxiv 2023。纸。代码
  Xinyin MA，Gongfan Fang，Xinchao Wang

在下游任务中微调骆驼

• 思想图：解决大型语言模型的详尽问题。 AAAI 2024。纸。代码。
  Maciej Besta，Nils Blach，Ales Kubicek等。
• 骆驼可以走多远？探索在开放资源上调整教学状态。神经2023。纸。代码
  Yizhong Wang，Hamish Ivison，Pradeep Dasigi等。
• 原理驱动的语言模型的自我对准从头开始，人类的监督最少。神经2023。纸。代码
  Zhiqing Sun，Yikang Shen，Qinhong Zhou等。
• Chatdoctor：使用医学领域知识对大语言模型Meta-AI（Llama）进行微调的医学聊天模型。 Arxiv 2023。纸。
  Yunxiang Li，Zihan Li，Kai Zhang，Ruilong Dan，Steve Jiang，You Zhang
• 针对中国骆驼和羊驼的高效和有效的文本编码。 Arxiv 2023。纸。代码
  Yiming Cui，Ziqing Yang，Xin Yao
• PMC-LALA：进一步的医学论文中的五角洲骆驼。 Arxiv 2023。纸。
  Chaoyi Wu，Zhang，Ya Zhang，Yanfeng Wang，Weidi Xie
• Llama博士：通过生成数据增强改善PubMedQA上的小语言模型。 Arxiv 2023。纸。
  Zhen Guo，Peiqi Wang，Yanwei Wang，Shangdi Yu
• 山羊：在算术任务上，微调的美洲驼优于GPT-4。 Arxiv 2023。纸。
  Tiedong Liu，Bryan Kian Hsiang Low
• Wizardlm：授权大型语言模型遵循复杂的说明。 Arxiv 2023。纸。代码
  Can Xu，Qingfeng Sun，Kai Zheng，Xiubo Geng，Pu Zhao，Jiazhan Feng，Chongyang Tao，Daxin Jiang
• 通过扩展高质量的教学对话来增强聊天语言模型。 Arxiv 2023。纸。代码
  Ning Ding，Yulin Chen，Bokai Xu，Yujia Qin，Zhi Zheng，Shengding Hu，Zhiyuan Liu，Maosong Sun，Bowen Zhou
• 长音：通过语料库提取为长文本生成的优化指令调整。 Arxiv 2023。纸。代码
  AbdullatifKöksal，Timo Schick，Anna Korhonen，HinrichSchütze
• 围位学习用户模拟器，用于任务导向对话框系统。 Arxiv 2023。纸。代码
  Silvia Terragni，Modestas Filipavicius，Nghia Khau，Bruna Guedes，AndréManso，Roland Mathis
• NETGPT：一种本地-AI网络体系结构，而不是提供个性化的生成服务。 Arxiv 2023。纸。代码
  Yuxuan Chen，Rongpeng Li，Zhifeng Zhao，Chenghui Peng，Jianjun Wu，Ekram Hossain，Honggang Zhang Zhang
• 关于语音到文本和大型语言模型集成的仅解码器体系结构。 Arxiv 2023。纸。代码
  Jian Wu，Yashesh Gaur，Zhuo Chen，Long Zhou，Yimeng Zhu，Tianrui Wang，Jinyu Li，Shujie Liu，Bo Ren，Linquan Liu，Yu Wu

骆驼与多模式结合

• MMMU：对专家AGI的巨大多学科多模式理解和推理基准。 CVPR 2024。纸。代码
  Xiang Yue，Yuansheng Ni，Kai Zhang等。

骆驼检索

• 多glelot吗？从基础语言模型中测量多语言百科全书知识。 Arxiv 2023。纸。代码
  蒂尔·肖特（Tim Schott），丹尼尔·弗曼（Daniel Furman），shreshta bhat
• rewoo：将推理与高效增强语言模型论文的观测值解耦。代码
  Binfeng Xu，Zhiyuan Peng，Bowen Lei，Subhabrata Mukherjee，Yuchen Liu，Dongkuan Xu
• 具有里程碑意义的关注：变压器的随机访问无限上下文长度。 Arxiv 2023。纸。代码
  Amirkeivan Mohtashami，Martin Jaggi

使用加固学习的骆驼

• 利马：更少的是对齐。 Arxiv 2023。纸。代码
  Chunting Zhou，Pengfei Liu，Puxin Xu，Srini Iyer，Jiao Sun，Yuning Mao，Xuezhe MA，Avia Efrat，Ping Yu，Lili Yu，Susan Zhang，Gargi Ghosh，Gargi Ghosh，Mike Lewis，Mike Lewis，Mike Zettlemoyer，Luke Zettlemoyer，Omer Levy Vyvy，Omer Levy Vyvy
• RRHF：对对齐语言模型的排名响应没有人为反馈。纸。代码
  Zheng Yuan，Hongyi Yuan，Chuanqi Tan，Wei Wang，Songfang Huang，Fei Huang

骆驼的定量分析

• SPQR：稀疏定量的表示，用于近乎无限的LLM重量压缩。 Arxiv 2023。纸。代码
  Tim Dettmers，Ruslan Svirschevski，Vage Egiazarian，Denis Kuznedelev，Elias Frantar，Saleh Ashkboos，Alexander Borzunov，Torsten Hoefler，Dan Alistarh，Dan Alistarh
• Squeezellm：密集量的量化。 Arxiv 2023。纸。代码
  Sehoon Kim，Coleman Hooper，Amir Gholami，Zhen Dong，Xiuyu Li，Sheng Shen，Michael W. Mahoney，Kurt Keutzer

提示美洲驼

• 在语音识别中促使大型语言模型以适应零弹药。 。 Arxiv 2023。纸。
  Yuang Li，Yu Wu，Jinyu Li，Shujie Liu

如何贡献

欢迎捐款！有关贡献指南，请参考贡献。