SLMs Survey

SLM調査

小言語モデルの包括的な調査：テクノロジー、デバイスアプリケーション、効率、LLMSの強化、および信頼性

このレポは、小さな言語モデルに関する最新の調査論文で説明した論文が含まれています。
ここで完全な論文を読んでください：Paper Link

ニュース

• 2024/11/04：調査の最初のバージョンはArxivにあります！

参照

調査があなたの研究に役立つ場合は、親切に私たちの論文を引用してください。

 @article{wang2024comprehensive,
  title={A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness},
  author={Wang, Fali and Zhang, Zhiwei and Zhang, Xianren and Wu, Zongyu and Mo, Tzuhao and Lu, Qiuhao and Wang, Wanjing and Li, Rui and Xu, Junjie and Tang, Xianfeng and others},
  journal={arXiv preprint arXiv:2411.03350},
  year={2024}
}

SLMSの概要

SLMSのタイムライン

SLMSペーパーリスト

既存のSLM

モデル	#params	日付	パラダイム	ドメイン	コード	HFモデル	紙/ブログ
ラマ3.2	1b; 3b	2024.9	トレイン前	ジェネリック	github	HF	ブログ
Qwen 1	1.8b; 7b; 14b; 72b	2023.12	トレイン前	ジェネリック	github	HF	紙
Qwen 1.5	0.5b; 1.8b; 4b; 7b; 14b; 32b; 72b	2024.2	トレイン前	ジェネリック	github	HF	紙
Qwen 2	0.5b; 1.5b; 7b; 57b; 72b	2024.6	トレイン前	ジェネリック	github	HF	紙
Qwen 2.5	0.5b; 1.5b; 3b; 7b; 14b; 32b; 72b	2024.9	トレイン前	ジェネリック	github	HF	紙
ジェマ	2b; 7b	2024.2	トレイン前	ジェネリック		HF	紙
ジェマ2	2b; 9b; 27b	2024.7	トレイン前	ジェネリック		HF	紙
H2O-Danube3	500m; 4b	2024.7	トレイン前	ジェネリック		HF	紙
LLM-Neo	1b	2024.11	継続的なトレーニング	ジェネリック		HF	紙
FOX-1	1.6b	2024.6	トレイン前	ジェネリック		HF	ブログ
レネ	1.3b	2024.5	トレイン前	ジェネリック		HF	紙
Minicpm	1.2b; 2.4b	2024.4	トレイン前	ジェネリック	github	HF	紙
オルモ	1b; 7b	2024.2	トレイン前	ジェネリック	github	HF	紙
Tinyllama	1b	2024.1	トレイン前	ジェネリック	github	HF	紙
PHI-1	1.3b	2023.6	トレイン前	コーディング		HF	紙
PHI-1.5	1.3b	2023.9	トレイン前	ジェネリック		HF	紙
PHI-2	2.7b	2023.12	トレイン前	ジェネリック		HF	紙
PHI-3	3.8b; 7b; 14b	2024.4	トレイン前	ジェネリック		HF	紙
PHI-3.5	3.8b; 4.2b; 6.6b	2024.4	トレイン前	ジェネリック		HF	紙
Openelm	270m; 450m; 1.1b; 3b	2024.4	トレイン前	ジェネリック	github	HF	紙
モビラマ	0.5b; 0.8b	2024.2	トレイン前	ジェネリック	github	HF	紙
Mobilellm	125m; 350m	2024.2	トレイン前	ジェネリック	github	HF	紙
Stablelm	3b; 7b	2023.4	トレイン前	ジェネリック	github	HF	紙
Stablelm 2	1.6b	2024.2	トレイン前	ジェネリック	github	HF	紙
セレブラス-gpt	111M-13B	2023.4	トレイン前	ジェネリック		HF	紙
ブルーム、ブルーム	560m; 1.1b; 1.7b; 3b; 7.1b; 176b	2022.11	トレイン前	ジェネリック		HF	紙
Opt	125m; 350m; 1.3b; 2.7b; 5.7b	2022.5	トレイン前	ジェネリック		HF	紙
xglm	1.7b; 2.9b; 7.5b	2021.12	トレイン前	ジェネリック	github	HF	紙
gpt-neo	125m; 350m; 1.3b; 2.7b	2021.5	トレイン前	ジェネリック	github		紙
Megatron-GPT2	355m; 2.5b; 8.3b	2019.9	トレイン前	ジェネリック	github		論文、ブログ
ミニトロン	4b; 8b; 15b	2024.7	剪定と蒸留	ジェネリック	github	HF	紙
Minimix	7b	2024.7	トレイン前	ジェネリック	github	HF	紙
最小2	1b; 3b	2023.12	トレイン前	ジェネリック	github	HF	紙
ミニマ	3b	2023.11	剪定と蒸留	ジェネリック	github	HF	紙
ORCA 2	7b	2023.11	蒸留	ジェネリック		HF	紙
Dolly-V2	3b; 7b; 12b	2023.4	指示の調整	ジェネリック	github	HF	ブログ
ラミニ-LM	61M-7B	2023.4	蒸留	ジェネリック	github	HF	ブログ
専門的なフラント5	250m; 760m; 3b	2023.1	指示の調整	ジェネリック（数学）	github	-	紙
フラント5	80m; 250m; 780m; 3b	2022.10	指示の調整	ジェネリック	gihub	HF	紙
T5	60m; 220m; 770m; 3b; 11b	2019.9	トレイン前	ジェネリック	github	HF	紙

SLMアーキテクチャ

1. トランス：注意が必要です。 Ashish Vaswani 。 Neurips 2017。
2. MAMBA 1： MAMBA：選択的状態空間を使用した線形時間シーケンスモデリング。アルバート・グとトリ・ダオ。コルム2024。[紙]。
3. MAMBA 2：トランスはSSMです：一般化されたモデルと構造化された状態空間の二重性を介した効率的なアルゴリズム。 Tri DaoとAlbert Gu 。 ICML 2024。[Paper] [Code]

SLMの拡張

ゼロからのトレーニング

1. Mobillama： 「Mobillama：正確で軽量の完全に透明なGPTに向けて」 。 Omkar Thawakar、Ashmal Vayani、Salman Khan、Hisham Cholakal、Rao M. Anwer、Michael Felsberg、Tim Baldwin、Eric P. Xing、Fahad Shahbaz Khan。 arxiv2024。[紙] [github] [huggingface]
2. Mobilellm： 「Mobilellm：Device Use Caseのための60億サブオリオンパラメーター言語モデルの最適化」 。 Zechun Liu、Changsheng Zhao、Forrest Iandola、Chen Lai、Yuandong Tian、Igor Fedorov、Yunyang Xiong、Ernie Chang、Yangyang Shi、Raghuraman Krishnamoorthi、Liangzhen Lai、Vikas Chandra 2024。
3. 小さな言語モデルの最適化とアーキテクチャを再考します。 Yehui Tang、Fangcheng Liu、Yunsheng Ni、Yuchuan Tian、Zheyuan Bai、Yi-Qi Hu、Sichao Liu、Shangling Jui、Kai Han、Yunhe Wang。 ICML 2024。[Paper] [Code]
4. Mindllm： 「Mindllm：ゼロ、評価、ドメインアプリケーションからトレーニング前の軽量の大きな言語モデル」 。 Yizhe Yang、Huashan Sun、Jiawei Li、Runheng Liu、Yinghao Li、Yuhang Liu、Heyan Huang、Yang Gao 。 arxiv2023。[紙] [ハギングフェイス]

監視された微調整

1. 直接選好最適化：言語モデルは密かに報酬モデルです。 Rafael Rafailov、Archit Sharma、Eric Mitchell、Christopher D Manning、Stefano Ermon、およびChelsea Finn。 Neurips、2024。[紙] [コード]
2. 高品質の指導会話をスケーリングすることにより、チャット言語モデルを強化します。 Ning Ding、Yulin Chen、Bokai Xu、Yujia Qin、Zhi Zheng、Shengding Hu、Zhiyuan Liu、Maosong Sun、およびBowen Zhou。 EMNLP 2023。[Paper] [Code]
3. Slimorca：検証付きのGPT-4拡張Flanの推論痕跡のオープンデータセット。ウィング・リアン、グアン・ワン、ブリーズ・グッドソン、ユージン・ペントランド、オースティン・クック、チャンヴィチェット・フォン、「テニウム」。 Huggingface、2023。[データ]
4. スタンフォードアルパカ：指導に従うラマモデル。 Rohan Taori、Ishaan Gulrajani、Tianyi Zhang、Yann Dubois、Xuechen Li、Carlos Guestrin、Percy Liang、およびTatsunori B. Hashimoto。 Github、2023。[ブログ] [Github] [Huggingface]
5. OpenChat：混合品質のデータでオープンソース言語モデルを進めます。 Guan Wang、Sijie Cheng、Xianyuan Zhan、Xiangang Li、Sen Song、Yang Liu。 ICLR、2024。[Paper] [code] [Huggingface]
6. 人間のフィードバックで指示に従うための言語モデルをトレーニングします。ロング・オウヤン、ジェフリー・ウー、Xu江、ディオ・アルメイダ、キャロル・ウェインライト、パメラ・ミシュキン、チョン・チャン、サンドヒニ・アガルワル、カタリーナ・スラマ、アレックス・レイ、ジョン・シュルマン、ジェイコブ・ヒルトン、フレイザー・ケルトン、ルーク・ミラー、マドディ・シミンズ、アマンダ・ウェーダー、ペット・ミラドライケ、ライアン・ロウ。ニューリップス、2022。[紙]
7. RLHF： 「人間のフィードバックを使用して指示に従うための言語モデルをトレーニングします」 。ロング・オウヤン、ジェフ・ウー、Xu江、ディオ・アルメイダ、キャロル・L・ウェインライト、パメラ・ミシュキン、チョン・チャン、サンドヒニ・アガルワル、カタリーナ・スラマ、アレックス・レイ、ジョン・シュルマン、ジェイコブ・ヒルトン、フレイザー・ケルトン、ルーク・ミラーライアン・ロウ。 2022。[紙]
8. MobileBert： 「MobileBert：リソース制限デバイス用のコンパクトなタスクに依存しないBERT」 。 Zhiqing Sun、Hongkun Yu、Xiaodan Song、Renjie Liu、Yiming Yang、Denny Zhou。 ACL 2020。[Paper] [Github] [Huggingface]
9. 言語モデルは、教師のないマルチタスク学習者です。アレック・ラドフォード、ジェフリー・ウー、レウォン・チャイルド、デビッド・ルアン、ダリオ・アモデイ、イリヤ・サツケイバー。 Openaiブログ、2019。[Paper]

KDのデータ品質

1. Tinystory： 「Tinystories：言語モデルはどれほど小さく、まだ首尾一貫した英語を話すことができますか？」 。ロネン・エルダン、元li。 2023。[Paper] [Huggingface]
2. As-es： 「As-es Learning：小さなモデルでの効率的なCOT学習に向けて」 。 Nuwa Xi、Yuhan Chen、Sendong Zhao、Haochun Wang、Bing Qin、Ting Liu。 2024。[紙]
3. 自己増加： 「自己増幅：自己後の説明による小言語モデルの改善」 。ミラノ・バーン、ジャン・ノエル・ヴィットノート、ニコラス・チェスノー、マリー・ジャンヌ・レソット。 2024。[紙]
4. 大規模な言語モデルは自己改善できます。 Jiaxin Huang、Shixiang Shane Gu、Le Hou、Yuexin Wu、Xuezhi Wang、Hongkun Yu、およびJiawei Han。 EMNLP 2023。[紙]
5. 想像力、検索、批判を介したLLMの自己改善に向けて。 Ye Tian、Baolin Peng、Linfeng Song、Lifeng Jin、Dian Yu、Haitao Mi、およびDong Yu。 Neurips2024。[紙] [コード]

SLMの蒸留

1. GKD： 「言語モデルのポリティ蒸留：自己生成された間違いから学ぶ」 。 Rishabh Agarwal et al。 ICLR 2024。[紙]
2. Distilllm： 「Distillm：大規模な言語モデルの合理化された蒸留に向けて」 。 Jongwoo Ko et al。 ICML 2024。[Paper] [Github]
3. Adapt-and-Distill： 「Adapt-and-Distill：ドメインの小規模で高速で効果的な前提条件モデルの開発」 。 Yunzhi Yao et al。 ACL2021。 [紙] [github]
4. AKL： 「大規模な言語モデルの知識蒸留におけるKullback-Leiblerの発散を再考する」 。台湾・ウー、チャオファン・タオ、ジャハオ・ワン、ランミング・ヤン、Zhe Zhao、Ngai Wong。 arxiv2024。[紙] [github]
5. タスクに依存しないバート圧縮太陽ウー、シャンシャンラオ、ジアイイ、ngai Wong、Zhe Zhao、Yujiu Yang Naacl、2024、[Paper] [Code]の体重に合った蒸留蒸留

量子化

1. SmoothQuant： 「SmoothQuant：大規模な言語モデルの正確で効率的なトレーニング後の量子化」 。広東Xiao、Ji Lin、Mickael Seznec、Hao Wu、Julien Demouth、Song Han。 ICML 2023。[Paper] [Github] [Slides] [ビデオ]
2. ビルム： 「ビルム：LLMSのトレーニング後の量子化の限界を押し進める」 。 Wei Huang、Yangdong Liu、Haotong Qin、Ying Li、Shiming Zhang、Xianglong Liu、Michele Magno、Xiaojuan Qi。 2024。[紙] [github]
3. LLM-QAT： 「LLM-QAT：大規模な言語モデル向けのデータフリー量子化認識トレーニング」 。 Zechun Liu、Barlas Oguz、Changsheng Zhao、Ernie Chang、Pierre Stock、Yashar Mehdad、Yangyang Shi、Raghuraman Krishnamoorthi、Vikas Chandra。 2023。[紙]
4. PB-LLM： 「PB-LLM：部分的に二等式の大きな言語モデル」 。 Zhihang Yuan、Yuzhang Shang、Zhen Dong。 ICLR 2024。[紙] [Github]
5. OneBit： 「OneBit：非常に低いビットの大型言語モデルに向けて」 。 Yuzhuang Xu、Xu Han、Zonghan Yang、Shuo Wang、Qingfu Zhu、Zhiyuan Liu、Weidong Liu、Wanxiang Che。ニューリップス2024。[紙]
6. ビットネット： 「ビットネット：大規模な言語モデル用の1ビット変圧器のスケーリング」 。 Hongyu Wang、Shuming Ma、Li Dong、Shaohan Huang、Huaijie Wang、Lingxiao MA、Fan Yang、Ruiping Wang、Yi Wu、Furu Wei。 2023。[紙]
7. Bitnet B1.58： 「1ビットLLMSのERA：すべての大きな言語モデルは1.58ビットです」 。 Shuming MA、Hongyu Wang、Lingxiao MA、Lei Wang、Wenhui Wang、Shaohan Huang、Li Dong、Ruiping Wang、Jilong Xue、Furu Wei。 2024。[紙]
8. Squeezellm： 「Squeezellm：密度と薄型の量子化」 。 Sehoon Kim、Coleman Hooper、Amir Gholami、Zhen Dong、Xiuyu Li、Sheng Shen、Michael W. Mahoney、Kurt Keutzer。 ICML 2024。[Paper] [Github]
9. JSQ： 「共同のスパース化と量子化による大規模な言語モデルを圧縮する」 。 Jinyang Guo、Jianyu Wu、Zining Wang、Jiaheng Liu、Ge Yang、Yifu Ding、Ruihao Gong、Haotong Qin、Xianglong Liu。 ICML 2024。[Paper] [Github]
10. FrameQuant： 「FrameQuant：トランス用の柔軟な低ビット量子化」 。 Harshavardhan Adepu、Zhanpeng Zeng、Li Zhang、Vikas Singh。 2024。[紙] [github]
11. ビルム： 「ビルム：LLMSのトレーニング後の量子化の限界を押し進める」 。 Wei Huang、Yangdong Liu、Haotong Qin、Ying Li、Shiming Zhang、Xianglong Liu、Michele Magno、Xiaojuan Qi。 2024。[紙] [github]
12. LQER： 「LQER：LLMSの低ランク量子化エラー再構築」 。チェン・チャン、ジャイアイ・チェン、ジョージ・A・コンスタンティニデス、イレン・ザオ。 ICML 2024。[Paper] [Github]
13. I-llm： 「I-llm：完全に定量化された低ビットの大型言語モデルに対する効率的な整数のみの推論」 。 Xing Hu、Yuan Cheng、Dawei Yang、Zhihang Yuan、Jiangyong Yu、Chen Xu、Sifan Zhou。 2024。[紙] [github]
14. PV-Tuning： 「PV-Tuning：極端なLLM圧縮のためのストレートスルー推定を超えて」 。ウラジミール・マリノフスキー、デニス・マズール、イヴァン・イリン、デニス・クズデレフ、コンスタンティン・ブルラチェンコ、カイ・YI、ダン・アリスター、ピーター・リッチュタリク。 2024。[紙]
15. PEQA： 「サブ4ビットの整数量子化を介した圧縮された大型言語モデルのメモリ効率の高い微調整」 。 Jeonghoon Kim、Jung Hyun Lee、Sungdong Kim、Joonsuk Park、Kang Min Yoo、Se Jung Kwon、Dongsoo Lee。 NIPS2023。[紙]
16. Qlora： 「Qlora：量子化されたLLMSの効率的な微調整」 。 Tim Dettmers、Artidoro Pagnoni、Ari Holtzman、Luke Zettlemoyerauthors情報＆クレーム。 NIPS2023。[紙] [Github]

SLMのLLMテクニック

1. Ma et al。： 「大規模な言語モデルは、良い数少ないショット情報抽出装置ではなく、ハードサンプルのための優れた再生者です！」 。 Yubo Ma、Yixin Cao、Yongching Hong、Aixin Sun。 emnlp 2023。[紙] [github]
2. MOQE： 「量子化された専門家（MOQE）の混合：低ビット量子化と堅牢性の相補的効果」 。若いジン・キム、ラフィー・ファヒム、ハニー・ハッサン・アワダラ。 2023。[紙]
3. SLM-RAG： 「検索された生成を備えた小言語モデルは、コンピューターサイエンスを学習するときに大きな言語モデルを置き換えることができますか？」 。 Suqing Liu、Zezhu Yu、Feiran Huang、Yousef Bulbulia、Andreas Bergen、Michael Liut。 iticse2024。[紙]

タスク固有のSLMアプリケーション

QAのSLM

1. Alpaca： 「Alpaca：強力で複製可能な命令に従うモデル」 。 Rohan Taori、Ishaan Gulrajani、Tianyi Zhang、Yann Dubois、Xuechen Li、Carlos Guestrin、Percy Liang、Tatsunori B. Hashimoto。 2023。[Paper] [Github] [Huggingface] [Webサイト]
2. 安定したベルーガ7B： 「安定したベルーガ2」 。マハン、ダコタとカーロー、ライアンとカストリカート、ルイとクーパー、ネイサンとラフォート、クリスチャン。 2023。[Huggingface]
3. 微調整されたBiogpt Guo et al。： 「生成データ増強を介してPubMedQAの小言語モデルの改善」 。 Zhen Guo、Peiqi Wang、Yanwei Wang、Shangdi Yu。 2023。[紙]
4. 金融SLMS： 「金融文書を介して質問するための小規模な言語モデルを微調整する」 。 Karmvir Singh Phorgat Karmvir Singh Phogat、Sai Akhil Puranam、Sridhar Dasaratha、Chetan Harsha、Shashishekar Ramakrishna。 2024。[紙]
5. コルバート： 「コルバートの検索とアンサンブル応答の言語モデルの質問応答のスコアリング」 。アレックス・ギシャンバ、テウドロス・ケデラ・イドリス、ブライアン・エビヤウ、エリック・ナイバーグ、ミタムラティルコ。 IEEE2024。[紙]
6. T-SAS： 「質問回答のためのテスト時間自己適応性の小言語モデル」 。 Soyeong Jeong、Jinheon Baek、Sukmin Cho、Sung Hwang、Jong Park。 ACL 2023。[紙] [Github]
7. Rationaleランキング： 「理論的生成と密な検索を使用して、より小さな言語モデルで目に見えない質問に答える」 。ティム・ハーティル、ダイアナ・ベナビデス・プラド、マイケル・ウィットブロック、パトリシア・J・リドル。 2023。[紙]

コーディングのSLM

1. Phi-3.5-mini： 「Phi-3テクニカルレポート：携帯電話でローカルに非常に有能な言語モデル」 。マラ・アブディン、ジョティ・アネジャ、ハニー・アワダラ、アーメド・アワダラ、アンマー・アフマド・アワン、ヌグエン・バッハ、アミット・バーリー、アラシュ・バクティアリ、ジアンミン・バオ、ハーキラット・ベル、... 2024。[Paper] [Huggingface] [Webサイト]
2. Tinyllama： 「Tinyllama：オープンソースの小言語モデル」 。 Peiyuan Zhang、Guangtao Zeng、Tianduo Wang、Wei Lu。 2024。[Paper] [Huggingface] [Chat Demo] [Discord]
3. Codellama： 「Code llama：コードの基礎モデルを開く」 。バプティスト・ロジエール、ジョナス・ゲーリング、ファビアン・グロックル、ステン・スートラ、イタイ・ガット、Xiaoqing・エレン・タン、ヨッシ・アディ、ジンギ・リュー、ロマイン・サウブスレ、タル・レメズ、...、ニコラス・ウスニエ、トーマス・シアモム、ガブリエル・シンナエブ。 2024。[Paper] [Huggingface]
4. CodeGemma： 「CodeGemma：Gemmaに基づくオープンコードモデル」 。 Codegemmaチーム：Heri Zhao、Jeffrey Hui、Joshua Howland、Nam Nguyen、Siqi Zuo、Andrea Hu、Christopher A. Choquette-Choo、Jingyue Shen、Joe Kelley、Kshitij Bansal、... 2024。[Paper] [Huggingface]

推奨のSLM

1. Promptrec： 「小言語モデルは推奨者として機能する可能性がありますか？データ中心のコールドスタートの推奨に向けて」 。 Xuansheng Wu、Huachi Zhou、Yucheng Shi、Wenlin Yao、Xiao Huang、Ninghao Liu。 2024。[紙] [github]
2. Slim： 「小さな言語モデルは、連続的な推奨の適切な理由ですか？」 。 Yuling Wang、Changxin Tian、Binbin Hu、Yanhua Yu、Ziqi Liu、Zhiqiang Zhang、Jun Zhou、Liang Pang、Xiao Wang。 2024。[紙]
3. Billp： 「大規模な言語モデルは、長期的な推奨のための学習可能なプランナーです」 。 Wentao Shi、Xiangnan He、Yang Zhang、Chongming Gao、Xinyue Li、Jizhi Zhang、Qifan Wang、Fuli Feng。 2024。[紙]
4. かつて： 「一度：オープンソースとクローズドソースの両方の大型言語モデルでコンテンツベースの推奨をブーストします」 。 Qijiong Liu、Nuo Chen、Tetsuya Sakai、Xiao-Ming Wu。 WSDM 2024。[Paper] [Github]
5. Reclora： 「推奨のための大規模な言語モデルの生涯のパーソナライズされた低ランク適応」 。 Jiachen Zhu、Jianghao Lin、Xinyi Dai、Bo Chen、Rong Shan、Jieming Zhu、Ruiming Tang、Yong Yu、Weinan Zhang。 2024。[紙]

Web検索のSLM

1. コンテンツエンコーダー： 「埋め込みベースの大規模検索のためのトレーニング前のタスク」 。 Wei-Cheng Chang、Felix X. Yu、Yin-Wen Chang、Yiming Yang、Sanjiv Kumar。 ICLR 2020。[紙]
2. ポリエンコーダー： 「ポリエンコーダー：高速かつ正確なマルチセンテンススコアリングのためのトランスアーキテクチャとトレーニング前の戦略」 。サミュエル・フムー、カート・シャスター、マリー・アン・ラッコー、ジェイソン・ウェストン。 ICLR 2020。[紙]
3. Twin-Bert： 「Twinbert：効率的な検索のためのツイン構造BERTモデルに知識を蒸留する」 。 Wenhao Lu、Jian Jiao、Ruofei Zhang。 2020年。[紙]
4. h-ernie： 「H-ernie：Web検索のための多粒度事前訓練モデル」 。 Xiaokai chu、jiashu Zhao、Lixin Zou、Dawei Yin。 Sigir2022。[紙]
5. ランカー： 「バートとの再ランキング」 。ロドリゴ・ノゲイラ、キュンギョン・チョ。 2019。[Paper] [Github]
6. ライター： 「検索された大規模な言語モデルのためのクエリ書き換え」 。 Xinbei Ma、Yeyun Gong、Pengcheng He、Hai Zhao、Nan Duan。 EMNLP2023。 [紙] [github]

モバイルデバイスのSLM

1. タコ： 「タコ：ソフトウェアAPIの関数呼び出しのためのオンデバイス言語モデル」 。ウェイ・チェン、Zhiyuan Li、Mingyuan MA。 2024。[Paper] [Huggingface]
2. MobileAgent： 「Mobile-Agent-V2：マルチエージェントコラボレーションによる効果的なナビゲーションを備えたモバイルデバイス操作アシスタント」 。 Junyang Wang、Haiyang Xu、Haitao Jia、Xi Zhang、Ming Yan、Weizhou Shen、Ji Zhang、Fei Huang、Jitao Sang。 2024。[紙] [Github] [Huggingface]
3. モバイルインタラクションの革命： 「モバイルインタラクションの革新：モバイルで30億パラメーターGPT LLMを有効にする」 。サミュエル・カレイラ、トマス・マルケス、ホセ・リベイロ、カルロス・グリロ。 2023。[紙]
4. AutoDroid： 「AutoDroid：AndroidのLLM駆動タスクオートメーション」 。 Hao Wen、Yuanchun Li、Guohong Liu、Shanhui Zhao、Tao Yu、T​​oby Jia-Jun Li、Shiqi Jiang、Yunhao Liu、Yaqin Zhang、Yunxin Liu。 2023。[紙]
5. テキスト書き換えのためのデバイスエージェント： 「テキスト書き換えのためのデバイスエージェントに向けて」 。 Yun Zhu、Yinxiao Liu、Felix Stahlberg、Shankar Kumar、Yu-Hui Chen、Liangchen Luo、Lei Shu、Renjie Liu、Jindong Chen、Lei Meng。 2023。[紙]

デバイス展開最適化手法

メモリ効率の最適化

1. Edge-llm： 「Edge-llm：レイヤーワイズワイズ統合の圧縮と適応層の調整と投票を介して、エッジデバイスでの効率的な大規模な言語モデルの適応を可能にします」 。 Zhongzhi Yu、Zheng Wang、Yuhan Li、Haoran You、Ruijie Gao、Xiaoya Zhou、Sreenidhi Reedy Bommu、Yang Katie Zhao、Yingyan Celine Lin。 2024。[紙] [github]
2. LLM-PQ： 「LLM-PQ：位相認識パーティションと適応量子化を備えた不均一なクラスターにLLMをサービング」 。 Juntao Zhao、Borui Wan、Yanghua Peng、Haibin Lin、Chuan Wu。 2024。[紙] [github]
3. AWQ： 「AWQ：LLM圧縮と加速のためのアクティベーションアウェア重量量子化」 。 Ji Lin、Jiaming Tang、Haotian Tang、Shang Yang、Wei-Ming Chen、Wei-Chen Wang、Guangxuan Xiao、Xingyu Dang、Chuang Gan、Song Han。 MLSYS2024。[紙] [Github]
4. Mobileaibench： 「Mobileaibench：デバイスのユースケースのLLMとLMMのベンチマーク」 。 Rithesh Murthy、Liangwei Yang、Juntao Tan、Tulika Manoj Awalgaonkar、Yilun Zhou、Shelby Heinecke、Sachin Desai、Jason Wu、Ran Xu、Sarah Tan、Jianguo Zhang、Zhiwei Liu、Shirley Kokane Silvio Savaresel。 2024。[紙] [github]
5. Mobilellm： 「Mobilellm：Device Use Caseのための60億サブオリオンパラメーター言語モデルの最適化」 。 Zechun Liu、Changsheng Zhao、Forrest Iandola、Chen Lai、Yuandong Tian、Igor Fedorov、Yunyang Xiong、Ernie Chang、Yangyang Shi、Raghuraman Krishnamoorthi、Liangzhen Lai、Vikas Chandra。 ICML 2024。[Paper] [Github] [Huggingface]
6. Edgemoe： 「Edgemoe：MOEベースの大手言語モデルの高速オンデバイス推論」 。 Rongjie Yi、Liwei Guo、Shiyun Wei、Ao Zhou、Shangguang Wang、Mengwei Xu。 2023。[紙] [github]
7. ギア： 「ギア：LLMのほぼ無差別な生成推論のための効率的なKVキャッシュ圧縮レシピ」 。 Hao Kang、Qingru Zhang、Souvik Ku​​ndu、Geonhwa Jeong、Zaoxing Liu、Tushar Krishna、Tuo Zhao。 2024。[紙] [github]
8. DMC： 「動的メモリ圧縮：加速された推論のためのLLMSの再洗浄」 。 Piotr Nawrot、Adrian Qual’cucki、Marcin Chochowski、David Tarjan、Edoardo M. Ponti。 2024。[紙]
9. トランスライト： 「トランスライト：携帯電話GPUでの大規模な言語モデルの高効率展開」 。 Luchang Li、Sheng Qian、Jie Lu、Lunxi Yuan、Rui Wang、Qin Xie。 2024。[紙]
10. LLMAAS： 「モバイルデバイスのシステムサービスとしてのLLM」 。 Wangsong Yin、Mengwei Xu、Yuanchun Li、Xuanzhe Liu。 2024。[紙]

ランタイム効率の最適化

1. Edgemoe： 「Edgemoe：MOEベースの大手言語モデルの高速オンデバイス推論」 。 Rongjie Yi、Liwei Guo、Shiyun Wei、Ao Zhou、Shangguang Wang、Mengwei Xu。 2023。[紙] [github]
2. LLMCAD： 「LLMCAD：高速かつスケーラブルなオンデバイス大規模言語モデル推論」 。 Daliang Xu、Wangsong Yin、Xin Jin、Ying Zhang、Shiyun Wei、Mengwei Xu、Xuanzhe Liu。 2023。[紙]
3. Lingualinked： 「Lingualinked：モバイルデバイス用の分散大規模な言語モデル推論システム」 。 Junchen Zhao、Yurun Song、Simeng Liu、Ian G. Harris、Sangeetha Abdu Jyothi。 2023 [紙]

SLMSはLLMSを強化します

LLMキャリブレーションと幻覚検出のSLMS

1. 世代のみを使用して、大規模な言語モデルを調整します。 Dennis Ulmer、Martin Gubri、Hwaran Lee、Sangdoo Yun、Seong Joon Oh 。 ACL 2024 LONG、[PDF] [コード]
2. 大きな言語モデルエラーを推定するためのパレート最適学習。セオドア・チャオ、ム・ウェイ、J。サミュエル・プレストン、ホイフン・プーン。 ACL 2024 LONG、[PDF]
3. LLMの内部状態は、それがいつ嘘をついているかを知っています。アモス・アザリア、トム・ミッチェル。 EMNLP 2023調査結果。 [PDF]
4. 小さなエージェントも揺れることができます！幻覚検出器として小言語モデルを強化します。 Xiaoxue Cheng、Junyi Li、Wayne Xin Zhao、Hongzhi Zhang、Fuzheng Zhang、Di Zhang、Kun Gai、Ji-Rong Wen。 EMNLP 2024 Long。 [PDF]
5. グループ損失の観点からLLMを再構成します。 Lihu Chen、Alexandre Perez-Lebel、Fabian M. Suchanek、GaëlVaroquaux。 EMNLP 2024調査結果。 [PDF]

LLMラグのSLMS

1. 小規模モデル、大きな洞察：LLMSのいつ、どのように取得するかを決定するためのスリムプロキシモデルを活用します。 Jiejun Tan、Zhicheng Dou、Yutao Zhu、Peidong Guo、Kun Fang、Ji-Rong Wen。 ACL 2024 Long。 [pdf] [code] [huggingface]
2. 自己狂気：自己反省を通じて検索、生成、批評を学ぶ。 Akari Asai、Zeqiu Wu、Yizhong Wang、Avirup Sil、Hannaneh Hajishirzi。 ICLR 2024口頭。 [pdf] [huggingface] [code] [webサイト] [モデル] [データ]
3. Longllmlingua：​​プロンプト圧縮による長いコンテキストシナリオでLLMを加速および強化します。 Huiqiang Jiang、Qianhui Wu、Xufang Luo、Dongsheng Li、Chin-Yew Lin、Yuqing Yang、Lili Qiu。 ICLR 2024ワークショップME-FOMOポスター。 [PDF]
4. 矯正検索拡張生成。 shi-qi yan、jia-chen gu、yun zhu、zhen-hua ling。 ARXIV 2024.1。 [PDF] [コード]
5. 大規模な言語モデルの自己知識ガイド付き検索拡張。 Yile Wang、Peng Li、Maosong Sun、Yang Liu。 EMNLP 2023調査結果。 [PDF] [コード]
6. コンテキスト内検索言語モデル。 Ori Ram、Yoav Levine、Itay Dalmedigos、Dor Muhlgay、Amnon Shashua、Kevin Leyton-Brown、Yoav Shham。 TACL2023。[PDF] [コード]
7. Ra-fisf：反復的なセルフフィードバックを介した検索の増強から答えることと理解することを学ぶ。 Liu、YanmingとPeng、XinyueとZhang、XuhongとLiu、WeihaoとYin、JianweiとCao、Jiannan and Du、Tianyu。 ACL 2024調査結果。 [PDF]
8. より少ないです：より小さな言語モデルをマルチホップ{kgqa}の有能なサブグラフレトリバーにする。 Wenyu Huang、Guancheng Zhou、Hongru Wang、Pavlos Vougiouklis、Mirella Lapata、Jeff Z. Pan。 EMNLP 2024調査結果。 [PDF]

LLMの推論のためのSLMS

1. Canwen Xu、Yichong Xu、Shuohang Wang、Yang Liu、Chenguang Zhu、およびJulian McAuley。小さなモデルは、大規模な言語モデル向けの貴重なプラグインです。 ACL 2024調査結果。 [PDF]
2. リニー・ヤン、シュイバイ・チャン、Zhuohao Yu、Guangsheng Bao、Yidong Wang、Jindong Wang、Ruochen Xu、Wei Ye、Xing Xie、Weizhu Chen、およびYue Zhang。監視された知識により、大規模な言語モデルがコンテキスト内の学習者を改善します。 ICLR 2024ポスター。 [PDF]
3. Zhuofeng Wu、He Bai、Aonan Zhang、Jiatao Gu、Vg Vydiswaran、Navdeep Jaitly、Yizhe Zhang。分割または征服？どの部分をLLMを蒸留する必要がありますか？ EMNLP 2024調査結果。 [PDF]

LLMSの著作権とプライバシーを緩和するためのSLM

1. Tianlin Li、Qian Liu、Tianyu Pang、Chao Du、Qing Guo、Yang Liu、およびMin Lin。小さな言語モデルを囲むことにより、大きな言語モデルを浄化します。 Arxiv2024。[PDF]

LLMプロンプトを抽出するためのSLMS

1. Yiming Zhang、Nicholas Carlini、およびDaphne Ippolito。言語モデルからの効果的な迅速な抽出。 colm 2024 [pdf]
2. Zeyang ShaとYang Zhang。大規模な言語モデルに対する攻撃を迅速に盗む。 arxiv（2024）。 [PDF]
3. コリン・チャン、ジョン・X・モリス、ヴィタリー・シュマティコフ。 LLM出力を反転させてプロンプトを抽出します。 [PDF]

微調整LLMのSLMS

1. エリック・ミッチェル、ラファエル・ラファイロフ、アーキット・シャルマ、チェルシー・フィン、クリストファー・D・マニング。 2024年。小さな言語モデルを使用した大規模な言語モデルを微調整するためのエミュレータ。 ICLR 2024。[PDF]
2. アリサ・リュー、Xiaochuang Han、Yizhong Wang、Yulia Tsvetkov、Yejin Choi、Noah a Smith。 2024。Proxyによるチューニング言語モデル。 Colm 2024。[PDF]
3. Dheeraj Mekala、Alex Nguyen、Jingbo Shang。 2024年。より小さな言語モデルは、より大きな言語モデルの命令調整トレーニングデータを選択できます。 ACL 2024調査結果。 [PDF]
4. Yongheng Deng、Ziqing Qiao、Ju Ren、Yang Liu、Yaoxue Zhang。 2023年。クロスシロの知識移転による大小の言語モデルの相互強化。 Arxiv2023。[PDF]
5. Smalltolarge（S2L）：小さなモデルのトレーニング軌跡を要約することにより、大規模な言語モデルを微調整するためのスケーラブルなデータ選択。 Yu Yang・Siddhartha Mishra・Jeffrey Chiang・Baharan Mirzasoleiman。 NIPS 2024ポスター。 [PDF]
6. 弱い検索から強い検索：小さな言語モデルを検索して、大きな言語モデルを調整します。 Zhanhui Zhou・Zhixuan Liu・Jie Liu・Zhichen Dong・Chao Yang・Yu Qiao。 NIPS 2024ポスター。 [PDF]

LLM安全性のSLMS

1. LLAMA GUARD：LLMベースの入出力保護者の人間と会話のための保護。 Meta Arxiv 2024 [PDF]
2. ガーディアンとしてのSLM：小言語モデルを備えた先駆的AI安全性。 Ohjoon Kwon、Donghyeon Jeon、Nayoung Choi、Gyu-Hwung Cho、Hwiyeol Jo、Changbong Kim、Hyunwoo Lee、Inho Kang、Sun Kim、Taiwoo Park。 EMNLP 2024。[PDF]

LLM評価のSLM

1. Kun Zhao、Bohao Yang、Chen Tang、Chenghua Lin、Liang Zhan 。 2024。スライド：オープンドメインダイアログ評価のための大小の言語モデルを統合するフレームワーク。 ACL 2024調査結果。 [PDF]
2. セマンティックの不確実性：自然言語生成における不確実性の推定のための言語の侵略。ロレンツ・クーン、ヤリン・ギャル、セバスチャン・ファーカー。 ICLR 2023。[PDF]
3. SelfCheckgpt：生成的大型言語モデルのゼロリソースブラックボックスの幻覚検出。ポツィア・マナクル、アディアン・リュージー、マーク・ゲルズ。 EMNLP 2023 Main。 [PDF]
4. proxylm：プロキシモデルを介した多言語タスクでの言語モデルのパフォーマンスの予測。 David Anugraha、Genta Indra Winata、Chenyue Li、Patrick Amadeus Irawan、En-Shiun Annie Lee。 Arxiv2024。[PDF]
5. FactScore：長期のテキスト生成における事実の精度の微細な原子評価。 Sewon Min、Kalpesh Krishna、Xinxi Lyu、Mike Lewis、Wen-Tau Yih、Pang Koh、Mohit Iyer、Luke Zettlemoyer、Hannaneh Hajishirzi。 EMNLP 2023 Main。 [PDF]
6. 飛び跳ねる前に見てください：大規模な言語モデルの不確実性測定の探索的研究。 Yuheng Huang、Jiayang Song、Zhijie Wang、Shengming Zhao、Huaming Chen、Felix Juefi-Xu、Lei Ma Arxiv 2023。[PDF]

星の歴史