LLMsPracticalGuide

大型語言模型的實用指南

LLMS實用指南資源的策劃（仍在積極更新）列表。它基於我們的調查論文：利用LLM的實踐力量：Chatgpt及其境內的調查以及@xinyadu的努力。該調查部分基於此博客的後半部分。我們還建立了一棵現代大型語言模型（LLM）的進化樹，以追踪近年來語言模型的發展，並突出顯示一些最著名的模型。

這些資料旨在幫助從業者瀏覽大語言模型（LLM）的廣闊景觀及其在自然語言處理（NLP）應用中的應用。我們還根據模型和數據許可信息包括他們的使用限制。如果您在我們的存儲庫中發現任何資源有幫助，請隨時使用它們（不要忘記引用我們的論文！？）。我們歡迎拉動請求來完善這個數字！

    @article { yang2023harnessing ,
        title = { Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond } , 
        author = { Jingfeng Yang and Hongye Jin and Ruixiang Tang and Xiaotian Han and Qizhang Feng and Haoming Jiang and Bing Yin and Xia Hu } ,
        year = { 2023 } ,
        eprint = { 2304.13712 } ,
        archivePrefix = { arXiv } ,
        primaryClass = { cs.CL }
    }

最新消息？

• 我們添加了用法和限制部分。
• 我們使用PowerPoint繪製圖形並為我們的GIF圖發布了源文件PPTX。 [4/27/2023]
• 我們發布了靜態版本PPTX的源文件，並用靜態版本將其替換為此存儲庫中的數字。 [4/29/2023]
• 將Alexatm，Unilm，Unilmv2添加到圖中，然後校正TK的徽標。 [4/29/2023]
• 添加使用和限制（用於商業和研究目的）部分。學分歸Du博士。 [5/8/2023]

LLMS的其他實用指南

• 為什麼GPT-3的所有公共繁殖都失敗了？我們應該在哪些任務中使用GPT-3.5/CHATGPT？ 2023年，博客
• 建立生產的LLM應用程序，2023年，博客
• 以數據為中心的人工智能，2023年，回購/博客/紙

目錄

• 大型語言模型的實用指南
  • 模型實用指南
    • Bert風格的語言模型：編碼器或僅編碼器
    • GPT風格的語言模型：僅解碼器
  • 數據實用指南
    • 預處理數據
    • 鑑定數據
    • 測試數據/用戶數據
  • NLP任務的實用指南
    • 傳統的NLU任務
    • 一代任務
    • 知識密集型任務
    • 縮放能力
    • 特定任務
    • 現實世界的“任務”
    • 效率
    • 值得信賴
    • 基準指令調整
    • 結盟
      • 安全對準（無害）
      • 真實對準（誠實）
      • 提示的實用指南（有用）
      • 開源社區的一致性
  • 用法和約束（模型和數據）

模型實用指南

Bert風格的語言模型：編碼器或僅編碼器

• 伯特·伯特（Bert Bert）：深層雙向變壓器的預培訓，以了解語言理解，2018年，論文
• 羅伯塔·羅伯塔（Roberta Roberta）：一種強大優化的伯特預審計方法，2019年，紙張
• Distilbert Distilbert，Bert的蒸餾版：較小，更快，更便宜，更輕，2019年，紙
• 阿爾伯特·阿爾伯特（Albert Albert）：一個用於自我監督語言表示學習的精簡版，2019年，紙張
• Unilm Unilm Unified語言模型預培訓用於自然語言理解和發電，2019年論文
• Electra Electra：訓練前文本編碼作為鑑別器而不是發電機，2020年，紙
• T5 “使用統一的文本到文本變壓器探索轉移學習的極限” 。 Colin Raffel等。 JMLR2019。論文
• GLM “ GLM-130B：開放的雙語預訓練模型” 。 2022。紙
• Alexatm “ Alexatm 20b：使用大型多語言SEQ2SEQ模型進行了很少的學習” 。 Saleh Soltan等。 Arxiv 2022。紙
• St-Moe St-Moe：設計穩定且可轉移的稀疏專家模型。 2022紙

GPT風格的語言模型：僅解碼器

• GPT通過生成的預訓練來改善語言理解。 2018。紙
• GPT-2語言模型是無監督的多任務學習者。 2018。紙
• GPT-3 “語言模型是很少的學習者” 。神經2020。紙
• OPT “ OPT：打開預訓練的變壓器語言模型” 。 2022。紙
• 棕櫚“棕櫚：使用途徑的縮放語言建模” 。 Aakanksha Chowdhery等。 Arxiv 2022。紙
• 布魯姆“盛開：176b參數開放式訪問多語言模型” 。 2022。紙
• MT-NLG “使用DeepSpeed和Megatron訓練Megatron-Tring NLG 530B，這是一種大規模的生成語言模型” 。 2021。紙
• Glam “ Glam：具有專家混合物的語言模型的有效縮放” 。 ICML 2022。紙
• Gopher “縮放語言模型：訓練Gopher的方法，分析和見解” 。 2021。紙
• Chinchilla “訓練譯文最佳的大語言模型” 。 2022。紙
• LAMDA “ LAMDA：對話應用程序的語言模型” 。 2021。紙
• 駱駝“駱駝：開放有效的基礎語言模型” 。 2023。紙
• GPT-4 “ GPT-4技術報告” 。 2023。紙
• Bloomberggpt Bloomberggpt：金融大型語言模型，2023年，紙
• GPT-NEOX-20B： “ GPT-NEOX-20B：開放式自回歸語言模型” 。 2022。紙
• 棕櫚2： “ Palm 2技術報告” 。 2023。 Tech.Report
• 駱駝2： “駱駝2：開放基礎和微調的聊天模型” 。 2023。紙
• 克勞德2： “克勞德模型的模型卡和評估” 。 2023。型號卡

數據實用指南

預處理數據

• Redpajama ，2023年。
• 堆：一個800GB的語言建模文本數據集，Arxiv 2020。
• 訓練前的目標如何影響大型語言模型對語言特性的了解？ ，ACL 2022。紙
• 神經語言模型的縮放法律，2020年。
• 以數據為中心的人工智能：調查，2023年。
• GPT如何獲得其能力？將語言模型的緊急能力追溯到其來源，2022年。部落格.

鑑定數據

• 基準測試零擊文本分類：數據集，評估和索引方法，EMNLP 2019。
• 語言模型是很少的學習者，nips 2020。
• LLM的合成數據生成有助於臨床文本挖掘嗎？ Arxiv 2023紙

測試數據/用戶數據

• 自然語言理解中大型語言模型的快捷方式學習：調查，Arxiv 2023。
• 關於Chatgpt的魯棒性：對抗性和分發視角Arxiv，2023年。
• Superglue：通用語言理解系統ARXIV 2019的粘性基準。

NLP任務的實用指南

我們為選擇LLM或微調模型〜 protect footnotemark構建決策流，用於用戶的NLP應用程序。決策流幫助用戶評估其下游的NLP應用程序是否符合特定條件，並基於該評估，確定LLMS或微型模型是否是其應用程序最合適的選擇。

傳統的NLU任務

• 關於民事評論的有毒評論分類的基準數據集Arxiv 2023論文
• chatgpt是通用的自然語言處理任務求解器嗎？ Arxiv 2023 Paper
• 新聞摘要的大型語言模型Arxiv 2022紙

一代任務

• 新聞摘要和評估GPT-3 Arxiv 2022紙
• chatgpt是一個好翻譯嗎？是的，GPT-4作為引擎ARXIV 2023紙
• Microsoft的多語言機器翻譯系統，用於WMT21共享任務，WMT2021紙
• Chatgpt也可以理解嗎？一項關於Chatgpt和微調Bert的比較研究，Arxiv 2023，紙

知識密集型任務

• 測量大量的多任務語言理解，ICLR 2021紙
• 超越模仿遊戲：量化和推斷語言模型的功能，arxiv 2022紙
• 逆縮放獎，2022鏈接
• Atlas：帶有檢索增強語言模型的很少的學習，Arxiv 2022紙
• 大型語言模型編碼臨床知識，ARXIV 2022紙

縮放能力

• 培訓計算最佳的大語言模型，神經2022紙
• 神經語言模型的縮放法律，Arxiv 2020紙張
• 解決基於過程和基於結果的反饋的數學單詞問題，ARXIV 2022紙
• 思想鏈促使人們在大語模型中引發推理，神經2022紙
• 大型語言模型的緊急能力，TMLR 2022紙
• 逆縮放可以變成U形，Arxiv 2022紙
• 在大型語言模型中進行推理：調查，ARXIV 2022紙

特定任務

• 作為外語的圖像：為所有視覺和視覺語言任務進行預告，Arixv 2022紙
• 巴利人：共同刻度的多語言圖像模型，Arxiv 2022紙
• Augg：利用Chatgpt進行文本數據擴展，ARXIV 2023紙
• GPT-3是一個好的數據註釋器嗎？ ，Arxiv 2022紙
• 想降低標籤成本嗎？ GPT-3可以幫助，EMNLP調查結果2021紙
• GPT3MIX：利用大型語言模型進行文本增強，EMNLP調查2021紙
• 用於患者試驗匹配的LLM：隱私感知的數據增強，以提高性能和推廣性，ARXIV 2023紙
• CHATGPT的表現優於文本宣傳任務的眾勞工，ARXIV 2023紙
• G-eval：使用GPT-4具有更好的人類對齊方式的NLG評估，Arxiv 2023紙
• GPTSCORE：根據您想要的評估，Arxiv 2023紙
• 大型語言模型是翻譯質量的最新評估者，Arxiv 2023紙
• chatgpt是一個不錯的NLG評估員嗎？初步研究，Arxiv 2023紙

現實世界的“任務”

• 人工通用智能的火花：GPT-4的早期實驗，ARXIV 2023紙

效率

1. 成本

• OpenAI的GPT-3語言模型：技術概述，2020年。博客文章
• 在雲實例中測量AI的碳強度，FACCT 2022。
• 在AI中，更大總是更好嗎？ ，自然第2023條。
• 語言模型是很少的學習者，神經2020。
• 定價，Openai。博客文章

2. 潛伏期

• 掌舵：語言模型的整體評估，Arxiv 2022。

3. 參數有效的微調

• 洛拉：大語言模型的低排名，Arxiv 2021。
• 前綴調整：優化發電的連續提示，ACL 2021。
• p調節：及時調整可以與跨尺度和任務的微調相提並論，ACL 2022。紙張。
• p-Tuning V2：及時調整可以與跨尺度和任務普遍普遍的微調相提並論，arxiv 2022。

4. 預訓練系統

• 零：訓練數万億參數模型的內存優化，Arxiv 2019。
• Megatron-LM：使用模型並行培訓數十億個參數語言模型，Arxiv 2019。
• 使用Megatron-LM，Arxiv 2021的高效大規模語言模型培訓。
• 減少大型變壓器模型中的激活重新計算，Arxiv 2021。

值得信賴

1. 穩健性和校準

• 使用前校準：提高語言模型的少量性能，ICML 2021。
• 規格：一種基於軟及時的校準，用於減輕臨床註釋中的性能變異性，ARXIV 2023。

2. 虛假偏見

• 大型語言模型可能是懶惰的學習者：分析貼上文字學習的快捷方式，ACL 2023紙的發現
• 自然語言理解中大型語言模型的快捷方式學習：調查，2023年論文
• 在字幕系統中緩解性別偏見，www 2020紙
• 使用前校準：提高語言模型的少量性能，ICML 2021紙
• 深度神經網絡中的快捷方式學習，自然機器智能2020紙
• 基於及時的模型是否真的了解其提示的含義？ ，NAACL 2022紙

3. 安全問題

• GPT-4系統卡，2023紙
• 檢測LLM生成文本的科學，Arxiv 2023紙
• 如何通過語言共享刻板印象：審查和介紹大型類別和刻板印象的通信（SCSC）框架，通信研究審查，2019年論文
• 性別陰影：商業性別分類中的交叉準確性差異，FACCT 2018論文

基準指令調整

• Flan：固定語言模型是零拍的學習者，ARXIV 2021紙
• T0：多任務提示培訓可以啟用零擊任務概括，ARXIV 2021紙
• 通過自然語言眾包說明的跨任務概括，ACL 2022紙
• TK-Instruct： Super-Naturalinstructions：通過聲明說明進行1600+ NLP任務的概括，EMNLP 2022紙
• Flan-T5/Palm：縮放指令 - 填充語言模型，Arxiv 2022紙
• Flan Collection：設計有效說明調整的數據和方法，ARXIV 2023紙
• OPT-IML：縮放語言模型指令通過概括的鏡頭元學習，Arxiv 2023紙

結盟

• 從人類的偏好中學習深度加強，NIPS 2017論文
• 學會從人類反饋中總結，arxiv 2020紙
• 作為對齊實驗室的一般語言助理，ARXIV 2021紙
• 通過從人類反饋中學習的強化學習，培訓有用且無害的助手，Arxiv 2022紙
• 教學語言模型以驗證的報價支持答案，arxiv 2022紙
• 指示：培訓語言模型遵循人為反饋的指示，ARXIV 2022紙
• 通過有針對性的人類判斷提高對話代理的對準，ARXIV 2022紙
• 獎勵模型過度分配的縮放定律，Arxiv 2022紙
• 可擴展監督：衡量大型語言模型可擴展監督的進度，ARXIV 2022紙

安全對準（無害）

• 使用語言模型的紅色小組語言模型，ARXIV 2022紙
• 憲法AI：AI反饋的無害性，ARXIV 2022紙
• 大語模型中道德自我糾正的能力，Arxiv 2023紙
• Openai：我們對AI安全的方法，2023博客

真實對準（誠實）

• 語言模型的強化學習，2023博客

提示的實用指南（有用）

• Openai食譜。部落格
• 及時的工程。部落格
• chatgpt提示開發人員工程！課程

開源社區的一致性

• 自我建造：與自我生成的說明的對齊語言模型，Arxiv 2022紙
• 羊駝。倉庫
• 維庫納。倉庫
• 多莉。部落格
• 深速chat 。部落格
• GPT4ALL 。倉庫
• 開放態度。倉庫
• chatglm 。倉庫
• 苔蘚。倉庫
• 拉米尼。 repo/blog

用法和限制

我們構建了一個總結LLMS使用限制的表（例如，用於商業和研究目的）。特別是，我們從模型及其預處理數據的角度提供信息。我們敦促社區中的用戶參考公共模型和數據的許可信息，並以負責任的方式使用它們。我們敦促開發人員特別注意許可，使他們透明和全面，以防止任何不必要的和無法預料的用法。

LLMS	模型			數據
	執照	商業用途	其他明顯的限制	執照	語料庫
僅編碼
BERT系列模型（通用域）	Apache 2.0	✅		民眾	Bookscorpus，英語Wikipedia
羅伯塔	麻省理工學院許可證	✅		民眾	BookCorpus，CC-News，OpenWebText，故事
厄尼	Apache 2.0	✅		民眾	英語維基百科
Scibert	Apache 2.0	✅		民眾	伯特語料庫，語義學者114萬篇論文
Legalbert	CC BY-SA 4.0			公共（判例法訪問項目的數據除外）	歐盟立法，美國法院案件等
生物Biobert	Apache 2.0	✅		PubMed	PubMed，PMC
編碼器
T5	Apache 2.0	✅		民眾	C4
Flan-T5	Apache 2.0	✅		民眾	C4，任務的混合物（圖2中的圖2）
巴特	Apache 2.0	✅		民眾	羅伯塔語料庫
Glm	Apache 2.0	✅		民眾	bookscorpus和英語維基百科
chatglm	chatglm許可證		無用於非法目的或軍事研究，不會損害社會的公共利益	N/A。	中文和英語語料庫的1T令牌
僅解碼
GPT2	修改後的MIT許可證	✅	負責任地使用GPT-2，並清楚地表明您的內容是使用GPT-2創建的。	民眾	WebText
gpt-neo	麻省理工學院許可證	✅		民眾	樁
GPT-J	Apache 2.0	✅		民眾	樁
--->多莉	CC由NC 4.0			CC由NC 4.0，遵守OpenAI生成的數據的使用條款	堆，自我指導
---> gpt4all-j	Apache 2.0	✅		民眾	GPT4ALL-J數據集
畢田	Apache 2.0	✅		民眾	樁
---> Dolly V2	麻省理工學院許可證	✅		民眾	堆，數據映 - dolly-15k
選擇	OPT-175B許可協議		沒有與監視研究和軍事有關的發展，也不會損害社會的公共利益	民眾	Roberta Corpus，堆，PushShift.io reddit
---> opt-iml	OPT-175B許可協議		同樣選擇	民眾	Opt copus，超簡短結構的擴展版本
YALM	Apache 2.0	✅		未指定	堆，團隊收集了俄語的文字
盛開	Bigscience Rail許可證	✅	無需使用可危害他人的目的來生成虛假信息； 內容沒有明確否認文本是機器生成的	民眾	Roots copus（Lauren≥Con等，2022）
---> Bloomz	Bigscience Rail許可證	✅	也很開心	民眾	根語料庫，xp3
銀河系	CC BY-NC 4.0			N/A。	Galactica語料庫
駱駝	非商業定制許可證		沒有與監視研究和軍事有關的發展，也不會損害社會的公共利益	民眾	CommonCrawl，C4，Github，Wikipedia等。
--->羊駝	CC由NC 4.0			CC由NC 4.0，遵守OpenAI生成的數據的使用條款	Llama語料庫，自我指導
--->維庫納	CC由NC 4.0			遵守OpenAI生成的數據的使用條款； 共享的隱私慣​​例	Llama語料庫，ShareGPT.com的70k對話
---> gpt4All	GPL許可的駱駝			民眾	GPT4ALL數據集
Ottinllama	Apache 2.0	✅		民眾	Redpajama
Codegeex	Codegeex許可證		無用於非法目的或軍事研究	民眾	堆，codeparrot，等。
Starcoder	BigCode OpenRail-M V1許可證	✅	無需使用可危害他人的目的來生成虛假信息； 內容沒有明確否認文本是機器生成的	民眾	堆棧
MPT-7B	Apache 2.0	✅		民眾	MC4（英語），堆棧，Redpajama，S2orc
鶻	TII Falcon LLM許可證	✅/	根據允許商業用途的許可證可用	民眾	精製網絡

星曆史