LLaMA Paper List

llama-paper-list

Llamaをバックボーンモデルとして使用した論文のコレクション。

貢献者

目次

• オリジナルのラマペーパー
• ラマとの関連理論
• パラメーター効率のあるラマ
• 下流のタスクでラマを微調整します
• ラマとマルチモーダルを組み合わせた
• 検索付きのllama
• 補強学習を使用したラマ
• ラマの定量分析
• ラマを促します

論文

オリジナルのラマペーパー

• ラマ：オープンで効率的な基礎言語モデル。 Arxiv2023。Paper。コード
  ヒューゴ・トーブロン、ティボー・ラヴリル、ゴーティエ・イザカード、ザビエル・マルティネット、マリー・アン・ラッコー、ティモテ・ラクロア、バプティスト・ロジエール、ナマン・ゴイヤル、エリック・ハンブロ、フェイサル・アズハル、アウレリエン・ロドリゲス、アーマンド・ジュールイン、エドゥーアン・グラップ、エドゥーアン・グラップ、
• Llama 2：オープンファンデーションと微調整されたチャットモデル。メタAI 2023。紙。コード
  Hugo Touvron、Louis Martin、Kevin Stone et al。
• モデルのラマ3群。 Arxiv2024。Paper。コード
  Abhimanyu Dubey、Abhinav Jauhri、Abhinav Pandey et al。

ラマとの関連理論

• 大規模な言語モデルは、ゼロショット時系列予報官です。 Neurips2023。Paper。コード
  ネイト・グルーバー、マーク・フィンジ、シカイ・チウ、アンドリュー・ゴードン・ウィルソン
• Training Compute-Optimal Large Languals Models。 Neurips2022。Paper。
  ヨルダン・ホフマン、セバスチャン・ボルジャウド、アーサー・メンシュ、エレナ・ブチャツカヤ、トレヴァー・カイ、エリザ・ラザフォード、ディエゴ・デ・ラス・カサス、リサ・アン・ヘンドリック、ヨハンヌ・ウェルブ、アイダン・クラーク、トム・ヘニガン、エリック・ノーランド、カティ・ミリキャン・ヴァン・ディク・ドレイズAurelia Guy、Simon Osindero、Karen Simonyan、Erich Elsen、Jack W. Rae、Oriol Vinyals、Laurent Sifre
• ルート平均平方層層の正規化。 Neurips2019。Paper。コード
  ビアオ・チャン、リコ・センリッヒ
• Gluバリアントは変圧器を改善します。 Arxiv 2020。紙。コード
  ノーム・シャジャー
• Roformer：回転位置の埋め込みを備えた強化されたトランス。 Arxiv2021。Paper。コード
  Jianlin SU、Yu Lu、Shengfeng Pan、Ahmed Murtadha、Bo Wen、Yunfeng Liu
• 分離された重量減衰の正則化。 ICLR2019。Paper。コード
  イリヤ・ロッシュチロフ、フランク・ハター
• 自己attenctionは必要ありません $ o（n^2）$メモリ。 Arxiv2021。Paper。コード
  マルクス・N・ラベとチャールズ・スタット
• Flashattention：IO認識を伴う高速およびメモリ効率の高い正確な注意。 Arxiv2022。Paper。コード
  Tri Dao、Daniel Y. Fu、Stefano Ermon、Atri Rudra、ChristopherRé
• 大規模な変圧器モデルの活性化の再構成を削減します。 Arxiv2022。Paper。
  Vijay Korthikanti、Jared Casper、Sangkug Lym、Lawrence McAfee、Michael Andersch、Mohammad Shoeybi、Bryan Catanzaro

パラメーター効率のあるラマ

• llama-adapter：関心がゼロの言語モデルの効率的な微調整。 Arxiv2023。Paper。コード
  Zhang、RenruiとHan、JiamingとZhou、AojunとHu、XiangfeiとYan、ShilinとLu、Pan and Li、HongshengとGao、Peng and Qiao、Yu
• Llama-Adapter V2：パラメーター効率の高い視覚命令モデル。 Arxiv2023。Paper。コード
  Peng Gao、Jiaming Han、Renrui Zhang、Ziyi Lin、Shijie Geng、Aojun Zhou、Wei Zhang、Pan Lu、Conghui He、Xiangyu Yue、Hongsheng Li、Yu Qiaoo
• LLM-Adapters：大規模な言語モデルのパラメーター効率の高い微調整のためのアダプターファミリ。 Arxiv2023。Paper。
  Zhiqiang Hu、Yihuai Lan、Lei Wang、Wanyu Xu、Ee-Peng Lim、Roy Ka-Wei Lee、Lidong Bing、Xing Xu、Soujanya Poria
• 大規模な言語モデルのためのシンプルで効果的な剪定アプローチ。 Arxiv2023。Paper。コード
  Mingjie Sun、Zhuang Liu、Anna Bair、J。ZicoKolter
• LLM-Pruner：大規模な言語モデルの構造的剪定について。 Arxiv2023。Paper。コード
  Xinyin MA、Gongfan Fang、Xinchao Wang

下流のタスクでラマを微調整します

• 思考のグラフ：大規模な言語モデルで精巧な問題を解決します。 AAAI 2024。論文。コード。
  Maciej Besta、Nils Blach、Ales Kubicek et al。
• ラクダはどこまで行くことができますか？オープンリソースに関する指導の状態を調査します。 Neurips2023。Paper。コード
  Yizhong Wang、Hamish Ivison、Pradeep Dasigi et al。
• 人間の監督を最小限に抑えて、言語モデルの原理主導の自己整理。 Neurips2023。Paper。コード
  Zhiqing Sun、Yikang Shen、Qinhong Zhou et al。
• ChatDoctor：医療ドメインの知識を使用して、大規模な言語モデルMeta-AI（LLAMA）で微調整された医療チャットモデル。 Arxiv2023。Paper。
  Yunxiang Li、Zihan Li、Kai Zhang、Ruilong Dan、Steve Jiang、You Zhang
• 中国のラマとアルパカ向けの効率的かつ効果的なテキストエンコード。 Arxiv2023。Paper。コード
  Yiming Cui、Ziqing Yang、Xin Yao
• PMC-llama：医療用紙に関するさらに微妙なラマ。 Arxiv2023。Paper。
  Chaoyi Wu、Xiaoman Zhang、Ya Zhang、Yanfeng Wang、Weidi Xie
• ラマ博士：生成データ増強を介して、PubMedQAの小言語モデルを改善します。 Arxiv2023。Paper。
  Zhen Guo、Peiqi Wang、Yanwei Wang、Shangdi Yu
• ヤギ：微調整されたラマは、算術タスクでGPT-4を上回ります。 Arxiv2023。Paper。
  Tiedong Liu、Bryan Kian Hsiang Low
• wizardlm：複雑な指示に従うように大規模な言語モデルを強化します。 Arxiv2023。Paper。コード
  Can Xu、Qingfeng Sun、Kai Zheng、Xiubo Geng、Pu Zhao、Jiazhan Feng、Chongyang Tao、Daxin Jiang
• 高品質の指導会話をスケーリングすることにより、チャット言語モデルを強化します。 Arxiv2023。Paper。コード
  Ning Ding、Yulin Chen、Bokai Xu、Yujia Qin、Zhi Zheng、Shengding Hu、Zhiyuan Liu、Maosong Sun、Bowen Zhou
• Longform：コーパス抽出による長いテキスト生成のための命令チューニングを最適化します。 Arxiv2023。Paper。コード
  AbdullatifKöksal、Timo Schick、Anna Korhonen、HinrichSchütze
• タスク指向のダイアログシステムのコンテキスト学習ユーザーシミュレーター。 Arxiv2023。Paper。コード
  Silvia Terragni、Modestas Filipavicius、Nghia Khau、Bruna Guedes、AndréManso、Roland Mathis
• NetGPT：パーソナライズされた生成サービスのプロビジョニングを超えたネイティブAIネットワークアーキテクチャ。 Arxiv2023。Paper。コード
  Yuxuan Chen、Rongpeng Li、Zhifeng Zhao、Chenghui Peng、Jianjun Wu、Ekram Hossain、Honggang Zhang
• 音声からテキストへの統合および大規模な言語モデルの統合のためのデコーダーのみのアーキテクチャについて。 Arxiv2023。Paper。コード
  Jian Wu、Yashesh Gaur、Zhuo Chen、Long Zhou、Yimeng Zhu、Tianrui Wang、Jininu Li、Shujie Liu、Bo Ren、Linquan Liu、Yu Wu

ラマとマルチモーダルを組み合わせた

• MMMU：エキスパートAGIのための大規模なマルチディシップラインマルチモーダルの理解と推論ベンチマーク。 CVPR2024。Paper。コード
  Xiang Yue、Yuansheng Ni、Kai Zhang et al。

検索付きのllama

• ポリグロットかどうか？基礎言語モデルからの多言語百科事典知識の検索の測定。 Arxiv2023。Paper。コード
  ティム・ショット、ダニエル・ファーマン、シュレシュタ・バット
• Rewoo：効率的な拡張言語モデルの論文の観察からの推論の分離。コード
  Binfeng Xu、Zhiyuan Peng、Bowen Lei、Subhabrata Mukherjee、Yuchen Liu、Dongkuan Xu
• ランドマークの注意：変圧器のランダムアクセス無限コンテキスト長。 Arxiv2023。Paper。コード
  Amirkeivan Mohtashami、Martin Jaggi

補強学習を使用したラマ

• リマ：アライメントの方が多い。 Arxiv2023。Paper。コード
  チャンティングZhou、Pengfei Liu、Puxin Xu、Srini Iyer、Jiao Sun、Yuning Mao、Xuezhe Ma、Avia Efrat、Ping Yu、Lili Yu、Susan Zhang、Gargi Ghosh、Mike Lewis、Luke Zettlemoyer、Omer Levy
• RRHF：涙のない人間のフィードバックと言語モデルを調整するためのランク応答。紙。コード
  Zheng Yuan、Hongyi Yuan、Chuanqi Tan、Wei Wang、Songfang Huang、Fei Huang

ラマの定量分析

• SPQR：losslessに近いLLM重量圧縮のためのまばらな定量化された表現。 Arxiv2023。Paper。コード
  Tim Dettmers、Ruslan Svirschevski、Vage Egiazarian、Denis Kuznedelev、Elias Frantar、Saleh Ashkboos、Alexander Borzunov、Torsten Hoefler、Dan Alistarh
• Squeezellm：密度とsparseの量子化。 Arxiv2023。Paper。コード
  Sehoon Kim、Coleman Hooper、Amir Gholami、Zhen Dong、Xiuyu Li、Sheng Shen、Michael W. Mahoney、Kurt Keutzer

ラマを促します

• 音声認識におけるゼロショットドメイン適応のための大規模な言語モデルを促す。 。 Arxiv2023。Paper。
  Yuang Li、Yu Wu、Jinyu Li、Shujie Liu

貢献する方法

貢献は大歓迎です！貢献ガイドラインについては、converting.mdを参照してください。