LLMBook zh.github.io

大語言模型

作者：趙鑫，李軍毅，周昆，唐天一，文繼榮

關於本書

2022年底，ChatGPT 震撼上線，大語言模型技術迅速“席捲”了整個社會，人工智能技術因此迎來了一次重要進展。面對大語言模型的強大性能，我們不禁要問：支撐這些模型的背後技術究竟是什麼？這一問題無疑成為了眾多科研人員的思考焦點。 必須指出的是，大模型技術並不是一蹴而就，其發展歷程中先後經歷了統計語言模型、神經網絡語言模型、預訓練語言模型等多個發展階段，每一步的發展都凝結了眾多科研工作者的心血與成果。作為大語言模型技術的重要推動者，OpenAI公司在過去深入探索了與其相關的大量技術細節，並最終推出了GPT系列模型，引領了本次技術變革。

然而，OpenAI 團隊自GPT-3開始，就很少在公開的材料中提及相關技術細節，很多技術報告主要是介紹評測相關的內容。到目前為止，關於GPT系列模型的核心技術仍然難以完全解密。 目前，學術界面臨的重大挑戰是真正有充足資源去充分探索大語言模型訓練的團隊少之又少，因此導致了第一手經驗匱乏，難以直接開展相關研究。 大模型訓練涉及眾多訓練的細節，這些細節很多時候無法從已有科研論文中直接獲取。由於其參數眾多、組件複雜、訓練過程也比較複雜，早期的實驗探索如果不引入任何先驗知識，可能會導致指數級增長的實驗數量。這使得掌握大模型技術的經驗變得尤為困難，更不用說從零開始探索相關科研問題，極大限制了學術界在此次人工浪潮中所起到的作用。 目前，能力較強的大語言模型基本都源自工業界，這一趨勢隨著時間的推移可能會變得更加明顯。從第一手經驗中“Know-How”，對於科研人員來說非常重要，只有接觸到技術核心，才能真正理解哪些問題是有意義的，並找到解決方案。

令人欣喜的是，無論是在學術界還是工業界，人們都逐漸認識到了“開放”的重要性，能夠看到越來越多的公開的基礎模型、技術代碼以及學術論文，有力地推動了大模型技術的“透明化”。只有通過開放和共享，才能匯聚全人類的智慧，共同推進人工智能技術的發展。實際上，根據現有公開的資料，大模型技術也是“有章可循”的，如整體訓練流程、數據清洗方法、指令微調技術、人類偏好對齊算法等。根據這些技術，在算力資源支持下，研發人員已經能夠較為順利地完成大模型的整體訓練流程，並取得不錯的模型效果。隨著更多核心技術的揭示和開放，大模型技術的“透明化”將進一步提高。

總之，大模型技術正處於快速發展階段，基礎原理亟待探索、關鍵技術亟待改善。對於科研人員而言，大模型研究工作充滿了想像空間，令人為之神往。隨著技術的不斷進步與共享開放，我們有理由相信，未來人工智能技術將取得更大的進展，將在更多領域帶來更為深遠的影響。 本書旨在為讀者提供關於大模型技術的全面了解，包括其基礎原理、關鍵技術和應用前景。通過深入研究和實踐，我們可以不斷探索和改進大模型技術，為人工智能領域的發展做出貢獻。 我們希望讀者通過閱讀本書，能夠深入了解大模型技術的現狀和未來趨勢，為自己的研究和實踐提供指導和啟發。讓我們攜手努力，共同推動人工智能技術的發展，為建立更智能、更可持續的未來做出貢獻。

本書內容

下載地址

全書內容： 《大語言模型》 (updated 2024-04-15)

• 在2023年12月底，為了更好地提供大模型技術的中文參考資料，我們啟動了中文書的編寫工作，並且於近日完成初稿。中文版書籍注重為大模型技術的入門讀者提供講解，力圖展現一個整體的大模型技術框架和路線圖。本書適用於具有深度學習基礎的高年級本科生以及低年級研究生使用，可以作為一本入門級的技術書籍。
• 下載鏈接1，下載鏈接2

英文綜述論文：LLMSurvey

• 為了更好地整理和傳播大模型技術的最新進展與技術體系，我們在2023年3月發表了大語言模型英文綜述文章《A Survey of Large Language Models》，並不斷進行更新完善。這篇綜述文章已經更新到第13個版本，包含了83頁的正文內容，並收錄了900餘篇參考文獻。
• 自英文綜述文章上線後，陸續有讀者詢問是否有對應的中文版本。為此，我們於2023年8月發布了該綜述（v10）的中文翻譯版。

配套資源

LLMBox ： 代碼庫

• LLMBox是一個全面的代碼工具庫，專門用於開發和實現大語言模型，其基於統一化的訓練流程和全面的模型評估框架。 LLMBox旨在成為訓練和利用大語言模型的一站式解決方案，其內部集成了大量實用的功能，實現了訓練和利用階段高度的靈活性和效率。

YuLan大模型： 代碼庫

• YuLan系列模型是中國人民大學高瓴人工智能學院師生共同開發的支持聊天的大語言模型（名字"玉蘭"取自中國人民大學校花）。最新版本從頭完成了整個預訓練過程，並採用課程學習技術基於中英文雙語數據進行有監督微調，包括高質量指令和人類偏好數據。

章節組織

引用信息

赵鑫,李军毅,周昆,唐天一,文继荣，大语言模型，https://llmbook-zh.github.io/，2024.

 @book{LLMBook,
  title = {大语言模型},
  year = {2024},
  author = {赵鑫, 李军毅, 周昆, 唐天一, 文继荣},
  address = {北京},
  url = {https://llmbook-zh.github.io/},
}

內容貢獻表

本書各章節的主要負責人和參與人名單如下：

• 第三章的負責人是閔映乾和楊晨，參與人有李軍毅、周昆；
• 第四章的負責人是張君傑、侯宇蓬和周昆；
• 第五章的負責人是董梓燦，參與人有田震和唐天一；
• 第六章的負責人是唐天一和陳昱碩；
• 第七章的負責人是唐天一，參與人有成曉雪；
• 第八章的負責人是李軍毅和陳志朋；
• 第九章的負責人是陳昱碩、劉沛羽和唐天一，參與人有周昆；
• 第十章的負責人是李軍毅、湯昕宇和都一凡，參與人有王曉磊；
• 第十一章的負責人是任瑞陽和蔣錦昊，參與人有李軍毅；
• 第十二章的負責人是張北辰和周昆，參與人有張高瑋；
• 第十三章的負責人是周昆，參與人（按拼音字母排序）有蔣錦昊、李依凡、劉子康、孫文奇、王禹淏、徐瀾玲、楊錦霞和鄭博文。

同時感謝其他參與本書編寫、校對的同學，他們（按拼音字母排序）是曹乾、曹展碩、陳杰、程伽雅琪、戴孫浩、鄧欣、丁毅杰、馮雪揚、高澤峰、苟志斌、辜子惠、郭歌揚、何東楠、侯新銘、胡譯文、李炳黔、李成遠、李欣潼、劉恩澤、劉炯楠、劉子涵、羅文揚、梅朗、歐柯杉、彭涵、阮愷、蘇煒航、孫一丁、湯奕如、王家鵬、王磊、王淑婷、姚峰、尹彥彬、詹玉梁、張景森、張良、朱天宇和朱餘韜。

本書在編寫過程得到了中國人民大學大型科學儀器共享平台的算力資源支持，在此對於陳躍國、魯蔚徵、石源三位老師表示衷心的感謝。

本書封面圖片由AI工具輔助進行生成，製作人為徐瀾玲。

反饋意見

在準備中文書的過程中，我們廣泛閱讀了現有的經典論文、相關代碼和教材，從中提煉出核心概念、主流算法與模型，並進行了系統性的組織與介紹。 我們對於每個章節的內容初稿都進行了多次修正，力求表達的清晰性與準確性。 然而，在書寫過程中，我們深感自身能力與知識的局限性，儘管已經付出了極大的努力，但難免會有遺漏或不當之處。本書的初版僅是一個起點，我們計劃在網上持續進行內容的更新和完善，並特別歡迎讀者提出寶貴的批評與建議，也會同步在網站上對於提出寶貴建議的讀者進行致謝。我們將編寫此書的過程當做一個自身的學習過程，也希望能夠通過本書與讀者進行深入交流，向更多的行業同行學習。

如果您有任何意見、評論以及建議（先確認最新版本中是否已經修正），請通過GitHub的Issues頁面進行反饋，或通過郵件發送至作者郵箱batmanfly at qq.com ， lijunyi at ruc.edu.cn ， francis_kun_zhou at ruc.edu.cn ， steventianyitang at outlook.com 。