self llm

開源大模型食用指南

本項目是一個圍繞開源大模型、針對國內初學者、基於Linux 平台的中國寶寶專屬大模型教程，針對各類開源大模型提供包括環境配置、本地部署、高效微調等技能在內的全流程指導，簡化開源大模型的部署、使用和應用流程，讓更多的普通學生、研究者更好地使用開源大模型，幫助開源、自由的大模型更快融入到普通學習者的生活中。

本項目的主要內容包括：

1. 基於Linux 平台的開源LLM 環境配置指南，針對不同模型要求提供不同的詳細環境配置步驟；
2. 針對國內外主流開源LLM 的部署使用教程，包括LLaMA、ChatGLM、InternLM 等；
3. 開源LLM 的部署應用指導，包括命令行調用、在線Demo 部署、LangChain 框架集成等；
4. 開源LLM 的全量微調、高效微調方法，包括分佈式全量微調、LoRA、ptuning 等。

項目的主要內容就是教程，讓更多的學生和未來的從業者了解和熟悉開源大模型的食用方法！任何人都可以提出issue或是提交PR，共同構建維護這個項目。

想要深度參與的同學可以聯繫我們，我們會將你加入到項目的維護者中。

學習建議：本項目的學習建議是，先學習環境配置，然後再學習模型的部署使用，最後再學習微調。因為環境配置是基礎，模型的部署使用是基礎，微調是進階。初學者可以選擇Qwen1.5，InternLM2，MiniCPM等模型優先學習。

注：如果有同學希望了解大模型的模型構成，以及從零手寫RAG、Agent和Eval等任務，可以學習Datawhale的另一個項目Tiny-Universe，大模型是當下深度學習領域的熱點，但現有的大部分大模型教程只在於教給大家如何調用api完成大模型的應用，而很少有人能夠從原理層面講清楚模型結構、RAG、Agent 以及Eval。所以該倉庫會提供全部手寫，不採用調用api的形式，完成大模型的RAG 、 Agent 、Eval 任務。

注：考慮到有同學希望在學習本項目之前，希望學習大模型的理論部分，如果想要進一步深入學習LLM 的理論基礎，並在理論的基礎上進一步認識、應用LLM，可以參考Datawhale 的so-large-llm課程。

注：如果有同學在學習本課程之後，想要自己動手開發大模型應用。同學們可以參考Datawhale 的動手學大模型應用開發課程，該項目是一個面向小白開發者的大模型應用開發教程，旨在基於阿里雲服務器，結合個人知識庫助手項目，向同學們完整的呈現大模型應用開發流程。

項目意義

什麼是大模型？

大模型（LLM）狹義上指基於深度學習算法進行訓練的自然語言處理（NLP）模型，主要應用於自然語言理解和生成等領域，廣義上還包括機器視覺（CV）大模型、多模態大模型和科學計算大模型等。

百模大戰正值火熱，開源LLM 層出不窮。如今國內外已經湧現了眾多優秀開源LLM，國外如LLaMA、Alpaca，國內如ChatGLM、BaiChuan、InternLM（書生·浦語）等。開源LLM 支持用戶本地部署、私域微調，每一個人都可以在開源LLM 的基礎上打造專屬於自己的獨特大模型。

然而，當前普通學生和用戶想要使用這些大模型，需要具備一定的技術能力，才能完成模型的部署和使用。對於層出不窮又各有特色的開源LLM，想要快速掌握一個開源LLM 的應用方法，是一項比較有挑戰的任務。

本項目旨在首先基於核心貢獻者的經驗，實現國內外主流開源LLM 的部署、使用與微調教程；在實現主流LLM 的相關部分之後，我們希望充分聚集共創者，一起豐富這個開源LLM 的世界，打造更多、更全面特色LLM 的教程。星火點點，匯聚成海。

我們希望成為LLM 與普羅大眾的階梯，以自由、平等的開源精神，擁抱更恢弘而遼闊的LLM 世界。

項目受眾

本項目適合以下學習者：

• 想要使用或體驗LLM，但無條件獲得或使用相關API；
• 希望長期、低成本、大量應用LLM；
• 對開源LLM 感興趣，想要親自上手開源LLM；
• NLP 在學，希望進一步學習LLM；
• 希望結合開源LLM，打造領域特色的私域LLM；
• 以及最廣大、最普通的學生群體。

項目規劃及進展

本項目擬圍繞開源LLM 應用全流程組織，包括環境配置及使用、部署應用、微調等，每個部分覆蓋主流及特點開源LLM：

Example 系列

• Chat-嬛嬛： Chat-甄嬛是利用《甄嬛傳》劇本中所有關於甄嬛的台詞和語句，基於LLM進行LoRA微調得到的模仿甄嬛語氣的聊天語言模型。

• Tianji-天機：天機是一款基於人情世故社交場景，涵蓋提示詞工程、智能體製作、 數據獲取與模型微調、RAG 數據清洗與使用等全流程的大語言模型系統應用教程。

已支持模型

• Qwen2.5-Coder

  • Qwen2.5-Coder-7B-Instruct FastApi部署調用@趙文愷
  • Qwen2.5-Coder-7B-Instruct Langchian接入@楊晨旭
  • Qwen2.5-Coder-7B-Instruct WebDemo 部署@王澤宇
  • Qwen2.5-Coder-7B-Instruct vLLM 部署@王澤宇
  • Qwen2.5-Coder-7B-Instruct Lora 微調@蕎麥
  • Qwen2.5-Coder-7B-Instruct Lora 微調SwanLab 可視化記錄版@楊卓

• Qwen2-vl

  • Qwen2-vl-2B FastApi 部署調用@姜舒凡
  • Qwen2-vl-2B WebDemo 部署@趙偉
  • Qwen2-vl-2B vLLM 部署@蕎麥
  • Qwen2-vl-2B Lora 微調@李柯辰
  • Qwen2-vl-2B Lora 微調SwanLab 可視化記錄版@林澤毅
  • Qwen2-vl-2B Lora 微調案例- LaTexOCR @林澤毅

• Qwen2.5

  • Qwen2.5-7B-Instruct FastApi 部署調用@婁天奧
  • Qwen2.5-7B-Instruct langchain 接入@婁天奧
  • Qwen2.5-7B-Instruct vLLM 部署調用@姜舒凡
  • Qwen2.5-7B-Instruct WebDemo 部署@高立業
  • Qwen2.5-7B-Instruct Lora 微調@左春生
  • Qwen2.5-7B-Instruct o1-like 推理鏈實現@姜舒凡
  • Qwen2.5-7B-Instruct Lora 微調SwanLab 可視化記錄版@林澤毅

• Apple OpenELM

  • OpenELM-3B-Instruct FastApi 部署調用@王澤宇
  • OpenELM-3B-Instruct Lora 微調@王澤宇

• Llama3_1-8B-Instruct

  • Llama3_1-8B-Instruct FastApi 部署調用@不要蔥薑蒜
  • Llama3_1-8B-Instruct langchain 接入@張晉
  • Llama3_1-8B-Instruct WebDemo 部署@張晉
  • Llama3_1-8B-Instruct Lora 微調@不要蔥薑蒜

• Gemma-2-9b-it

  • Gemma-2-9b-it FastApi 部署調用@不要蔥薑蒜
  • Gemma-2-9b-it langchain 接入@不要蔥薑蒜
  • Gemma-2-9b-it WebDemo 部署@不要蔥薑蒜
  • Gemma-2-9b-it Peft Lora 微調@不要蔥薑蒜

• Yuan2.0

  • Yuan2.0-2B FastApi 部署調用@張帆
  • Yuan2.0-2B Langchain 接入@張帆
  • Yuan2.0-2B WebDemo部署@張帆
  • Yuan2.0-2B vLLM部署調用@張帆
  • Yuan2.0-2B Lora微調@張帆

• Yuan2.0-M32

  • Yuan2.0-M32 FastApi 部署調用@張帆
  • Yuan2.0-M32 Langchain 接入@張帆
  • Yuan2.0-M32 WebDemo部署@張帆

• DeepSeek-Coder-V2

  • DeepSeek-Coder-V2-Lite-Instruct FastApi 部署調用@姜舒凡
  • DeepSeek-Coder-V2-Lite-Instruct langchain 接入@姜舒凡
  • DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署@Kailigithub
  • DeepSeek-Coder-V2-Lite-Instruct Lora 微調@余洋

• 嗶哩嗶哩Index-1.9B

  • Index-1.9B-Chat FastApi 部署調用@鄧愷俊
  • Index-1.9B-Chat langchain 接入@張友東
  • Index-1.9B-Chat WebDemo 部署@九月
  • Index-1.9B-Chat Lora 微調@姜舒凡

• Qwen2

  • Qwen2-7B-Instruct FastApi 部署調用@康婧淇
  • Qwen2-7B-Instruct langchain 接入@不要蔥薑蒜
  • Qwen2-7B-Instruct WebDemo 部署@三水
  • Qwen2-7B-Instruct vLLM 部署調用@姜舒凡
  • Qwen2-7B-Instruct Lora 微調@散步

• GLM-4

  • GLM-4-9B-chat FastApi 部署調用@張友東
  • GLM-4-9B-chat langchain 接入@譚逸珂
  • GLM-4-9B-chat WebDemo 部署@何至軒
  • GLM-4-9B-chat vLLM 部署@王熠明
  • GLM-4-9B-chat Lora 微調@肖鴻儒
  • GLM-4-9B-chat-hf Lora 微調@付志遠

• Qwen 1.5

  • Qwen1.5-7B-chat FastApi 部署調用@顏鑫
  • Qwen1.5-7B-chat langchain 接入@顏鑫
  • Qwen1.5-7B-chat WebDemo 部署@顏鑫
  • Qwen1.5-7B-chat Lora 微調@不要蔥薑蒜
  • Qwen1.5-72B-chat-GPTQ-Int4 部署環境@byx020119
  • Qwen1.5-MoE-chat Transformers 部署調用@丁悅
  • Qwen1.5-7B-chat vLLM推理部署@高立業
  • Qwen1.5-7B-chat Lora 微調接入SwanLab實驗管理平台@黃柏特

• 谷歌-Gemma

  • gemma-2b-it FastApi 部署調用@東東
  • gemma-2b-it langchain 接入@東東
  • gemma-2b-it WebDemo 部署@東東
  • gemma-2b-it Peft Lora 微調@東東

• phi-3

  • Phi-3-mini-4k-instruct FastApi 部署調用@鄭皓樺
  • Phi-3-mini-4k-instruct langchain 接入@鄭皓樺
  • Phi-3-mini-4k-instruct WebDemo 部署@丁悅
  • Phi-3-mini-4k-instruct Lora 微調@丁悅

• CharacterGLM-6B

  • CharacterGLM-6B Transformers 部署調用@孫健壯
  • CharacterGLM-6B FastApi 部署調用@孫健壯
  • CharacterGLM-6B webdemo 部署@孫健壯
  • CharacterGLM-6B Lora 微調@孫健壯

• LLaMA3-8B-Instruct

  • LLaMA3-8B-Instruct FastApi 部署調用@高立業
  • LLaMA3-8B-Instruct langchain 接入@不要蔥薑蒜
  • LLaMA3-8B-Instruct WebDemo 部署@不要蔥薑蒜
  • LLaMA3-8B-Instruct Lora 微調@高立業

• XVERSE-7B-Chat

  • XVERSE-7B-Chat transformers 部署調用@郭志航
  • XVERSE-7B-Chat FastApi 部署調用@郭志航
  • XVERSE-7B-Chat langchain 接入@郭志航
  • XVERSE-7B-Chat WebDemo 部署@郭志航
  • XVERSE-7B-Chat Lora 微調@郭志航

• TransNormerLLM

  • TransNormerLLM-7B-Chat FastApi 部署調用@王茂霖
  • TransNormerLLM-7B-Chat langchain 接入@王茂霖
  • TransNormerLLM-7B-Chat WebDemo 部署@王茂霖
  • TransNormerLLM-7B-Chat Lora 微調@王茂霖

• BlueLM Vivo 藍心大模型

  • BlueLM-7B-Chat FatApi 部署調用@郭志航
  • BlueLM-7B-Chat langchain 接入@郭志航
  • BlueLM-7B-Chat WebDemo 部署@郭志航
  • BlueLM-7B-Chat Lora 微調@郭志航

• InternLM2

  • InternLM2-7B-chat FastApi 部署調用@不要蔥薑蒜
  • InternLM2-7B-chat langchain 接入@不要蔥薑蒜
  • InternLM2-7B-chat WebDemo 部署@鄭皓樺
  • InternLM2-7B-chat Xtuner Qlora 微調@鄭皓樺

• DeepSeek 深度求索

  • DeepSeek-7B-chat FastApi 部署調用@不要蔥薑蒜
  • DeepSeek-7B-chat langchain 接入@不要蔥薑蒜
  • DeepSeek-7B-chat WebDemo @不要蔥薑蒜
  • DeepSeek-7B-chat Lora 微調@不要蔥薑蒜
  • DeepSeek-7B-chat 4bits量化Qlora 微調@不要蔥薑蒜
  • DeepSeek-MoE-16b-chat Transformers 部署調用@Kailigithub
  • DeepSeek-MoE-16b-chat FastApi 部署調用@Kailigithub
  • DeepSeek-coder-6.7b finetune colab @Swiftie
  • Deepseek-coder-6.7b webdemo colab @Swiftie

• MiniCPM

  • MiniCPM-2B-chat transformers 部署調用@Kailigithub
  • MiniCPM-2B-chat FastApi 部署調用@Kailigithub
  • MiniCPM-2B-chat langchain 接入@不要蔥薑蒜
  • MiniCPM-2B-chat webdemo 部署@Kailigithub
  • MiniCPM-2B-chat Lora && Full 微調@不要蔥薑蒜
  • 官方友情鏈接：面壁小鋼砲MiniCPM教程@OpenBMB
  • 官方友情鏈接：MiniCPM-Cookbook @OpenBMB

• Qwen-Audio

  • Qwen-Audio FastApi 部署調用@陳思州
  • Qwen-Audio WebDemo @陳思州

• Qwen

  • Qwen-7B-chat Transformers 部署調用@李嬌嬌
  • Qwen-7B-chat FastApi 部署調用@李嬌嬌
  • Qwen-7B-chat WebDemo @李嬌嬌
  • Qwen-7B-chat Lora 微調@不要蔥薑蒜
  • Qwen-7B-chat ptuning 微調@肖鴻儒
  • Qwen-7B-chat 全量微調@不要蔥薑蒜
  • Qwen-7B-Chat 接入langchain搭建知識庫助手@李嬌嬌
  • Qwen-7B-chat 低精度訓練@肖鴻儒
  • Qwen-1_8B-chat CPU 部署@散步

• Yi 零一萬物

  • Yi-6B-chat FastApi 部署調用@李柯辰
  • Yi-6B-chat langchain接入@李柯辰
  • Yi-6B-chat WebDemo @肖鴻儒
  • Yi-6B-chat Lora 微調@李嬌嬌

• Baichuan 百川智能

  • Baichuan2-7B-chat FastApi 部署調用@惠佳豪
  • Baichuan2-7B-chat WebDemo @惠佳豪
  • Baichuan2-7B-chat 接入LangChain 框架@惠佳豪
  • Baichuan2-7B-chat Lora 微調@惠佳豪

• InternLM

  • InternLM-Chat-7B Transformers 部署調用@小羅
  • InternLM-Chat-7B FastApi 部署調用@不要蔥薑蒜
  • InternLM-Chat-7B WebDemo @不要蔥薑蒜
  • Lagent+InternLM-Chat-7B-V1.1 WebDemo @不要蔥薑蒜
  • 浦語靈筆圖文理解&創作WebDemo @不要蔥薑蒜
  • InternLM-Chat-7B 接入LangChain 框架@Logan Zou

• Atom (llama2)

  • Atom-7B-chat WebDemo @Kailigithub
  • Atom-7B-chat Lora 微調@Logan Zou
  • Atom-7B-Chat 接入langchain搭建知識庫助手@陳思州
  • Atom-7B-chat 全量微調@Logan Zou

• ChatGLM3

  • ChatGLM3-6B Transformers 部署調用@丁悅
  • ChatGLM3-6B FastApi 部署調用@丁悅
  • ChatGLM3-6B chat WebDemo @不要蔥薑蒜
  • ChatGLM3-6B Code Interpreter WebDemo @不要蔥薑蒜
  • ChatGLM3-6B 接入LangChain 框架@Logan Zou
  • ChatGLM3-6B Lora 微調@肖鴻儒

通用環境配置

• pip、conda 換源@不要蔥薑蒜

• AutoDL 開放端口@不要蔥薑蒜

• 模型下載

  • hugging face @不要蔥薑蒜
  • hugging face 鏡像下載@不要蔥薑蒜
  • modelscope @不要蔥薑蒜
  • git-lfs @不要蔥薑蒜
  • Openxlab

• Issue && PR

  • Issue 提交@肖鴻儒
  • PR 提交@肖鴻儒
  • fork更新@肖鴻儒

致謝

核心貢獻者

• 宋志學(不要蔥薑蒜)-項目負責人（Datawhale成員-中國礦業大學(北京)）
• 鄒雨衡-項目負責人（Datawhale成員-對外經濟貿易大學）
• 肖鴻儒（Datawhale成員-同濟大學）
• 郭志航（內容創作者）
• 張帆（內容創作者-Datawhale成員）
• 姜舒凡（內容創作者-鯨英助教）
• 李嬌嬌（Datawhale成員）
• 丁悅（Datawhale-鯨英助教）
• 林澤毅（內容創作者-SwanLab產品負責人）
• 惠佳豪（Datawhale-宣傳大使）
• 王茂霖（內容創作者-Datawhale成員）
• 孫健壯（內容創作者-對外經濟貿易大學）
• 東東（內容創作者-谷歌開發者機器學習技術專家）
• 高立業（內容創作者-DataWhale成員）
• 王澤宇（內容創作者-太原理工大學-鯨英助教）
• Kailigithub （Datawhale成員）
• 鄭皓樺（內容創作者）
• 李柯辰（Datawhale成員）
• 陳思州（Datawhale成員）
• 散步（Datawhale成員）
• 顏鑫（Datawhale成員）
• 蕎麥（內容創作者-Datawhale成員）
• Swiftie （小米NLP算法工程師）
• 黃柏特（內容創作者-西安電子科技大學）
• 張友東（內容創作者-Datawhale成員）
• 余洋（內容創作者-Datawhale成員）
• 張晉（內容創作者-Datawhale成員）
• 婁天奧（內容創作者-中國科學院大學-鯨英助教）
• 左春生（內容創作者-Datawhale成員）
• 楊卓（內容創作者-西安電子科技大學-鯨英助教）
• 小羅（內容創作者-Datawhale成員）
• 譚逸珂（內容創作者-對外經濟貿易大學）
• 王熠明（內容創作者-Datawhale成員）
• 何至軒（內容創作者-鯨英助教）
• 康婧淇（內容創作者-Datawhale成員）
• 三水（內容創作者-鯨英助教）
• 九月（內容創作者-Datawhale意向成員）
• 鄧愷俊（內容創作者-Datawhale成員）
• 楊晨旭（內容創作者-太原理工大學-鯨英助教）
• 趙文愷（內容創作者-太原理工大學-鯨英助教）
• 趙偉（內容創作者-鯨英助教）
• 付志遠（內容創作者-海南大學）

注：排名根據貢獻程度排序

其他

• 特別感謝@Sm1les對本項目的幫助與支持
• 部分lora代碼和講解參考倉庫：https://github.com/zyds/transformers-code.git
• 如果有任何想法可以聯繫我們DataWhale 也歡迎大家多多提出issue
• 特別感謝以下為教程做出貢獻的同學！

Star History