llm corpus

從零搭建大模型RAG知識庫

本項目從零開始實現了大模型外接知識庫的流程：

1. 中文數據集處理
2. 詞向量模型訓練
3. 文檔向量化
4. 向量數據庫存儲知識庫
5. 本地ChatGLM2-6B大模型部署
6. 簡單的知識庫應用

項目結構

• corpus：存放知識庫文檔的文件夾
• data：詞向量模型訓練相關的數據（模型文件較大，請自行下載模型）
• doc：詞向量模型訓練的源碼、文檔
• llm_server：簡單的知識庫應用
• vector_db：將corpus裡的文檔存入qdrant向量數據庫
• config.json：項目的一些配置
  • OPENAI_API_KEY：openai的api key
  • EMBEDDING_MODEL_TYPE：文本向量化的模型openai或word2vec
  • CHAT_MODEL_TYPE：對話大模型openai或chatglm
  • CHATGLM_PORT：ChatGLM本地部署的端口
  • **PATH：一些路徑，以項目根目錄為起點
  • COLLECTION_NAME：向量數據庫Collection的名稱

運行

生成持久化知識庫

 cd vector_db
pip install -r requirements.txt
python main.py

main.py會自動創建名為COLLECTION_NAME的向量數據庫，並將corpus文件夾中的文檔向量化存儲到數據庫中

運行應用

 cd llm_server
pip install -r requirements.txt
python main.py

運行本地部署的ChatGLM2-6B

參考ChatGLM2-6B官方文檔

教程

• 訓練word2vec

• 手把手從零教你搭建大模型知識庫

• document.ai