LLaMA Paper List

紫紅色紙列表

使用美洲駝作為骨幹模型的論文收集。

貢獻者

目錄

• 原始的駱駝紙
• 與美洲駝的相關理論
• 具有參數效率的美洲駝
• 在下游任務中微調駱駝
• 駱駝與多模式結合
• 駱駝檢索
• 使用加固學習的駱駝
• 駱駝的定量分析
• 提示美洲駝

文件

原始的駱駝紙

• 駱駝：開放有效的基礎語言模型。 Arxiv 2023。紙。代碼
  Hugo Touvron，Thibaut Lavril，Gautier Izacard，Xavier Martinet，Marie-Anne Lachaux，TimothéeLacroix，BaptisteRozière，Naman Goyal，Eric Hambro，Faisal Azhar，Faisal Azhar，Aurelien Rodriguez，Arfriguez，Armand Joulder，Guillaind joullin，Guillaume，Guillaume，Guillaume，Guillaume，Guillaume，Guillaume Joubare Joume，吉利亞德·吉爾庫魯（Eduume Joular）
• 駱駝2：開放基礎和微調聊天模型。 Meta AI 2023。紙。代碼
  Hugo Touvron，Louis Martin，Kevin Stone等。
• Llama 3模型。 Arxiv 2024。紙。代碼
  Abhimanyu Dubey，Abhinav Jauhri，Abhinav Pandey等。

與美洲駝的相關理論

• 大型語言模型是零彈性的時間序列預報員。神經2023。紙。代碼
  Nate Gruver，Marc Finzi，Shikai Qiu，Andrew Gordon Wilson
• 培訓計算最佳的大語言模型。神經2022。紙。
  喬丹·霍夫曼（Jordan Hoffmann），塞巴斯蒂安·博爾格（Sebastian Borgeaud），亞瑟·門施（Arthur Mensch），埃琳娜·布塔斯卡亞（Elena Buchatskaya），特雷弗·凱（Trevor Cai），伊麗莎·魯特福德（Eliza Rutherford），迭戈·德·拉斯·卡薩斯（Diego de Las Casas），麗莎·安妮·亨德里克斯（Lisa Anne Hendricks），約翰內斯·韋爾布爾（Johannes Welbl），艾滋病蓋伊（Guy），西蒙·奧西德（Simon Osindero），凱倫·西蒙納（Karen Simonyan），埃里希·埃爾森（Erich Elsen），傑克·雷（Jack W.
• 根平方層歸一化。 Neurips2019。論文。代碼
  Biao Zhang，Rico Sennrich
• GLU變體可以改善變壓器。 Arxiv 2020。紙。代碼
  Noam Shazeer
• roformer：增強的變壓器，具有旋轉位置嵌入。 Arxiv 2021。紙。代碼
  Jianlin Su，Yu Lu，Shengfeng Pan，Ahmed Murtadha，Bo Wen，Yunfeng Liu
• 重量衰減正則化。 ICLR2019。論文。代碼
  Ilya Loshchilov，Frank Hutter
• 自我注意不需要 $ O（n^2）$記憶。 Arxiv 2021。紙。代碼
  馬庫斯·納（Markus N. Rabe）和查爾斯·斯塔特（Charles Staats）
• 閃存：具有IO意識的快速和記憶力精確的關注。 Arxiv 2022。紙。代碼
  Tri Dao，Daniel Y. Fu，Stefano Ermon，Atri Rudra，ChristopherRé
• 在大型變壓器模型中降低激活重新計算。 Arxiv 2022。紙。
  Vijay Korthikanti，Jared Casper，Sangkug Lym，Lawrence McAfee，Michael Andersch，Mohammad Shoeybi，Bryan Catanzaro

具有參數效率的美洲駝

• Llama-apapter：對語言模型的有效微調，並以零置的關注。 Arxiv 2023。紙。代碼
  Zhang，Renrui和Han，Jiaming和Zhou，Aojun和Hu，Xiangfei和Yan，Shilin和Lu，Pan and Pan and Li，Hongsheng and Gao，Peng和Qiao，Yu，Yu
• Llama-apapter V2：參數有效的視覺指導模型。 Arxiv 2023。紙。代碼
  Peng Gao，Jiaming Han，Renrui Zhang，Ziyi Lin，Shijie Geng，Aojun Zhou，Wei Zhang，Pan Lu，Conghui He，Xiangyu Yue，Hongsheng li，Yu Qiao
• LLM-適配器：用於大型語言模型參數有效微調的適配器家族。 Arxiv 2023。紙。
  Zhiqiang Hu，Yihuai Lan，Lei Wang，Wanyu Xu，Ee-Peng Lim，Roy Ka-Wei Lee，Lidong Bing，Xing Xu，Soujanya Poria
• 對於大型語言模型的簡單有效的修剪方法。 Arxiv 2023。紙。代碼
  Mingjie Sun，Zhuang Liu，Anna Bair，J。 ZicoKolter
• LLM-Pruner：關於大語言模型的結構修剪。 Arxiv 2023。紙。代碼
  Xinyin MA，Gongfan Fang，Xinchao Wang

在下游任務中微調駱駝

• 思想圖：解決大型語言模型的詳盡問題。 AAAI 2024。紙。代碼。
  Maciej Besta，Nils Blach，Ales Kubicek等。
• 駱駝可以走多遠？探索在開放資源上調整教學狀態。神經2023。紙。代碼
  Yizhong Wang，Hamish Ivison，Pradeep Dasigi等。
• 原理驅動的語言模型的自我對準從頭開始，人類的監督最少。神經2023。紙。代碼
  Zhiqing Sun，Yikang Shen，Qinhong Zhou等。
• Chatdoctor：使用醫學領域知識對大語言模型Meta-AI（Llama）進行微調的醫學聊天模型。 Arxiv 2023。紙。
  Yunxiang Li，Zihan Li，Kai Zhang，Ruilong Dan，Steve Jiang，You Zhang
• 針對中國駱駝和羊駝的高效和有效的文本編碼。 Arxiv 2023。紙。代碼
  Yiming Cui，Ziqing Yang，Xin Yao
• PMC-LALA：進一步的醫學論文中的五角洲駱駝。 Arxiv 2023。紙。
  Chaoyi Wu，Zhang，Ya Zhang，Yanfeng Wang，Weidi Xie
• Llama博士：通過生成數據增強改善PubMedQA上的小語言模型。 Arxiv 2023。紙。
  Zhen Guo，Peiqi Wang，Yanwei Wang，Shangdi Yu
• 山羊：在算術任務上，微調的美洲駝優於GPT-4。 Arxiv 2023。紙。
  Tiedong Liu，Bryan Kian Hsiang Low
• Wizardlm：授權大型語言模型遵循複雜的說明。 Arxiv 2023。紙。代碼
  Can Xu，Qingfeng Sun，Kai Zheng，Xiubo Geng，Pu Zhao，Jiazhan Feng，Chongyang Tao，Daxin Jiang
• 通過擴展高質量的教學對話來增強聊天語言模型。 Arxiv 2023。紙。代碼
  Ning Ding，Yulin Chen，Bokai Xu，Yujia Qin，Zhi Zheng，Shengding Hu，Zhiyuan Liu，Maosong Sun，Bowen Zhou
• 長音：通過語料庫提取為長文本生成的優化指令調整。 Arxiv 2023。紙。代碼
  AbdullatifKöksal，Timo Schick，Anna Korhonen，HinrichSchütze
• 圍位學習用戶模擬器，用於任務導向對話框系統。 Arxiv 2023。紙。代碼
  Silvia Terragni，Modestas Filipavicius，Nghia Khau，Bruna Guedes，AndréManso，Roland Mathis
• NETGPT：一種本地-AI網絡體系結構，而不是提供個性化的生成服務。 Arxiv 2023。紙。代碼
  Yuxuan Chen，Rongpeng Li，Zhifeng Zhao，Chenghui Peng，Jianjun Wu，Ekram Hossain，Honggang Zhang Zhang
• 關於語音到文本和大型語言模型集成的僅解碼器體系結構。 Arxiv 2023。紙。代碼
  Jian Wu，Yashesh Gaur，Zhuo Chen，Long Zhou，Yimeng Zhu，Tianrui Wang，Jinyu Li，Shujie Liu，Bo Ren，Linquan Liu，Yu Wu

駱駝與多模式結合

• MMMU：對專家AGI的巨大多學科多模式理解和推理基準。 CVPR 2024。紙。代碼
  Xiang Yue，Yuansheng Ni，Kai Zhang等。

駱駝檢索

• 多glelot嗎？從基礎語言模型中測量多語言百科全書知識。 Arxiv 2023。紙。代碼
  蒂爾·肖特（Tim Schott），丹尼爾·弗曼（Daniel Furman），shreshta bhat
• rewoo：將推理與高效增強語言模型論文的觀測值解耦。代碼
  Binfeng Xu，Zhiyuan Peng，Bowen Lei，Subhabrata Mukherjee，Yuchen Liu，Dongkuan Xu
• 具有里程碑意義的關注：變壓器的隨機訪問無限上下文長度。 Arxiv 2023。紙。代碼
  Amirkeivan Mohtashami，Martin Jaggi

使用加固學習的駱駝

• 利馬：更少的是對齊。 Arxiv 2023。紙。代碼
  Chunting Zhou，Pengfei Liu，Puxin Xu，Srini Iyer，Jiao Sun，Yuning Mao，Xuezhe MA，Avia Efrat，Ping Yu，Lili Yu，Susan Zhang，Gargi Ghosh，Gargi Ghosh，Mike Lewis，Mike Lewis，Mike Zettlemoyer，Luke Zettlemoyer，Omer Levy Vyvy，Omer Levy Vyvy
• RRHF：對對齊語言模型的排名響應沒有人為反饋。紙。代碼
  Zheng Yuan，Hongyi Yuan，Chuanqi Tan，Wei Wang，Songfang Huang，Fei Huang

駱駝的定量分析

• SPQR：稀疏定量的表示，用於近乎無限的LLM重量壓縮。 Arxiv 2023。紙。代碼
  Tim Dettmers，Ruslan Svirschevski，Vage Egiazarian，Denis Kuznedelev，Elias Frantar，Saleh Ashkboos，Alexander Borzunov，Torsten Hoefler，Dan Alistarh，Dan Alistarh
• Squeezellm：密集量的量化。 Arxiv 2023。紙。代碼
  Sehoon Kim，Coleman Hooper，Amir Gholami，Zhen Dong，Xiuyu Li，Sheng Shen，Michael W. Mahoney，Kurt Keutzer

提示美洲駝

• 在語音識別中促使大型語言模型以適應零彈藥。 。 Arxiv 2023。紙。
  Yuang Li，Yu Wu，Jinyu Li，Shujie Liu

如何貢獻

歡迎捐款！有關貢獻指南，請參考貢獻。