rag gpt下載 - rag gpt源代碼下載

rag gpt

其他源碼

v0.2.2

下載

抹布-GPT

快速啟動使用燒瓶，LLM，抹布，包括前端，後端和管理控制台的智能客戶服務系統。
現場演示

內容

特徵
在線檢索架構
部署抹布-GPT服務
- 步驟1：下載存儲庫代碼
- 步驟2：配置.env的變量
  - 使用Openai作為LLM基礎
  - 使用Zhipuai作為LLM基礎
  - 使用DeepSeek作為LLM基礎
  - 使用月球作為LLM底座
  - 使用本地LLM
- 步驟3：部署抹布-GPT
  - 使用Docker部署抹布-GPT
  - 從源代碼部署抹布-GPT
    - 設置Python運行環境
      - 創建和激活虛擬環境
      - 使用PIP安裝依賴項
    - 創建SQLITE數據庫
    - 開始服務
配置管理控制台
- 登錄到管理控制台
- 導入您的數據
  - 導入網站
  - 進口孤立的URL
  - 導入本地文件
- 測試聊天機器人
- 嵌入您的網站
- 用戶歷史請求的儀表板
管理員和聊天機器人的前端
- 管理控制台
- 聊天機器人

特徵

內置LLM支持：支持基於雲的LLM和本地LLM。
快速設置：在短短五分鐘內就可以部署生產級別的對話服務機器人。
各種知識基礎集成：支持多種類型的知識庫，包括網站，孤立的URL和本地文件。
靈活配置：提供配備可自定義設置的用戶友好的後端，用於簡化管理。
有吸引力的UI ：具有可自定義且具有視覺吸引力的用戶界面。

在線檢索架構

部署抹布-GPT服務

步驟1：下載存儲庫代碼

克隆存儲庫：

git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt

步驟2：配置.env的變量

在啟動RAG-GPT服務之前，您需要修改程序的相關配置以正確初始化。

使用Openai作為LLM基礎

cp env_of_openai .env

.env中的變量

LLM_NAME= " OpenAI "
OPENAI_API_KEY= " xxxx "
GPT_MODEL_NAME= " gpt-4o-mini "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
USE_GPT4O=0

不要修改LLM_NAME
用自己的密鑰修改OPENAI_API_KEY 。請登錄到OpenAI網站以查看您的API密鑰。
如果要使用GPT-4，則更新GPT_MODEL_NAME設置，用gpt-4-turbo或gpt-4o替換gpt-4o-mini 。
更改BOT_TOPIC以反映您的機器人的名稱。這非常重要，因為它將用於Prompt Construction 。請嘗試使用一個簡潔明了的單詞，例如OpenIM ， LangChain 。
調整URL_PREFIX以匹配您的網站域。這主要用於生成上傳的本地文件的可訪問URL鏈接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，將USE_LLAMA_PARSE設置為1。
用自己的密鑰修改LLAMA_CLOUD_API_KEY 。請登錄到Llamacloud網站以查看您的API密鑰。
如果要使用GPT-4o模式，將USE_GPT4O設置為1。
有關常數的含義和用法的更多信息，您可以在server/constant目錄下檢查。

使用Zhipuai作為LLM基礎

如果您不能使用OpenAI的API服務，請考慮使用Zhipuai作為替代方案。

cp env_of_zhipuai .env

.env中的變量

LLM_NAME= " ZhipuAI "
ZHIPUAI_API_KEY= " xxxx "
GLM_MODEL_NAME= " glm-4-air "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密鑰修改ZHIPUAI_API_KEY 。請登錄Zhipuai網站以查看您的API密鑰。
更新GLM_MODEL_NAME設置，模型列表為['glm-3-turbo', 'glm-4', 'glm-4-0520', 'glm-4-air', 'glm-4-airx', 'glm-4-flash'] 。
更改BOT_TOPIC以反映您的機器人的名稱。這非常重要，因為它將用於Prompt Construction 。請嘗試使用一個簡潔明了的單詞，例如OpenIM ， LangChain 。
調整URL_PREFIX以匹配您的網站域。這主要用於生成上傳的本地文件的可訪問URL鏈接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，將USE_LLAMA_PARSE設置為1。
用自己的密鑰修改LLAMA_CLOUD_API_KEY 。請登錄到Llamacloud網站以查看您的API密鑰。
有關常數的含義和用法的更多信息，您可以在server/constant目錄下檢查。

使用DeepSeek作為LLM基礎

如果您無法使用OpenAI的API服務，請考慮使用DeepSeek作為替代方案。

筆記

DeepSeek不提供Embedding API ，因此在這裡我們使用Zhipuai的Embedding API 。

cp env_of_deepseek .env

.env中的變量

LLM_NAME= " DeepSeek "
ZHIPUAI_API_KEY= " xxxx "
DEEPSEEK_API_KEY= " xxxx "
DEEPSEEK_MODEL_NAME= " deepseek-chat "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密鑰修改ZHIPUAI_API_KEY 。請登錄Zhipuai網站以查看您的API密鑰。
用自己的密鑰修改DEEPKSEEK_API_KEY 。請登錄到DeepSeek網站以查看您的API密鑰。
如果要使用其他DeepSeek模型，請更新DEEPSEEK_MODEL_NAME設置。
更改BOT_TOPIC以反映您的機器人的名稱。這非常重要，因為它將用於Prompt Construction 。請嘗試使用一個簡潔明了的單詞，例如OpenIM ， LangChain 。
調整URL_PREFIX以匹配您的網站域。這主要用於生成上傳的本地文件的可訪問URL鏈接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，將USE_LLAMA_PARSE設置為1。
用自己的密鑰修改LLAMA_CLOUD_API_KEY 。請登錄到Llamacloud網站以查看您的API密鑰。
有關常數的含義和用法的更多信息，您可以在server/constant目錄下檢查。

使用月球作為LLM底座

如果您無法使用OpenAI的API服務，請考慮使用Moonshot作為替代方案。

筆記

Moonshot不提供Embedding API ，因此在這裡我們使用Zhipuai的Embedding API 。

cp env_of_moonshot .env

.env中的變量

LLM_NAME= " Moonshot "
ZHIPUAI_API_KEY= " xxxx "
MOONSHOT_API_KEY= " xxxx "
MOONSHOT_MODEL_NAME= " moonshot-v1-8k "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密鑰修改ZHIPUAI_API_KEY 。請登錄Zhipuai網站以查看您的API密鑰。
用自己的密鑰修改MOONSHOT_API_KEY 。請登錄到Moonshot網站以查看您的API密鑰。
如果要使用其他Moonshot型號，請更新MOONSHOT_MODEL_NAME設置。
更改BOT_TOPIC以反映您的機器人的名稱。這非常重要，因為它將用於Prompt Construction 。請嘗試使用一個簡潔明了的單詞，例如OpenIM ， LangChain 。
調整URL_PREFIX以匹配您的網站域。這主要用於生成上傳的本地文件的可訪問URL鏈接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，將USE_LLAMA_PARSE設置為1。
用自己的密鑰修改LLAMA_CLOUD_API_KEY 。請登錄到Llamacloud網站以查看您的API密鑰。
有關常數的含義和用法的更多信息，您可以在server/constant目錄下檢查。

使用本地LLM

如果您的知識庫涉及敏感信息，並且您不希望使用基於雲的LLM，請考慮使用Ollama在本地部署大型模型。

筆記

首先，請參閱Ollama安裝Ollama ，然後下載嵌入式型號mxbai-embed-large和LLM型號（例如llama3 。

cp env_of_ollama .env

.env中的變量

LLM_NAME= " Ollama "
OLLAMA_MODEL_NAME= " xxxx "
OLLAMA_BASE_URL= " http://127.0.0.1:11434 "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
更新OLLAMA_MODEL_NAME設置，從Ollama庫中選擇適當的模型。
如果您在啟動Ollama時已更改默認IP:PORT ，請更新OLLAMA_BASE_URL 。請特別注意，僅在不附加URI的情況下輸入IP（域）和端口。
更改BOT_TOPIC以反映您的機器人的名稱。這非常重要，因為它將用於Prompt Construction 。請嘗試使用一個簡潔明了的單詞，例如OpenIM ， LangChain 。
調整URL_PREFIX以匹配您的網站域。這主要用於生成上傳的本地文件的可訪問URL鏈接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，將USE_LLAMA_PARSE設置為1。
用自己的密鑰修改LLAMA_CLOUD_API_KEY 。請登錄到Llamacloud網站以查看您的API密鑰。
有關常數的含義和用法的更多信息，您可以在server/constant目錄下檢查。

步驟3：部署抹布-GPT

使用Docker部署抹布-GPT

筆記

使用Docker部署時，請特別注意.env文件中的url_prefix主機。如果使用Ollama ，也請特別注意.env文件中的Ollama_Base_url的主機。他們需要使用主機機器的實際IP地址。

docker-compose up --build

從源代碼部署抹布-GPT

筆記

請使用Python版本3.10.x或更高版本。

設置Python運行環境

建議在Python虛擬環境中安裝與Python相關的依賴關係，以避免影響其他項目的依賴性。

創建和激活虛擬環境

如果您尚未創建虛擬環境，則可以使用以下命令創建一個：

python3 -m venv myenv

創建後，激活虛擬環境：

 source myenv/bin/activate

使用PIP安裝依賴項

一旦激活了虛擬環境，就可以使用pip安裝所需的依賴項。

pip install -r requirements.txt

創建SQLITE數據庫

RAG-GPT服務使用SQLite作為其存儲DB。在啟動RAG-GPT服務之前，您需要執行以下命令以初始化數據庫並添加admin Console的默認配置。

python3 create_sqlite_db.py

開始服務

如果您已經完成了上述步驟，則可以通過執行以下命令來嘗試啟動RAG-GPT服務。

開始單個過程：

python3 rag_gpt_app.py

開始多個過程：

sh start.sh

筆記

RAG-GPT的服務端口為7000 。在第一次測試中，請盡量不要更改端口，以便您可以快速體驗整個產品過程。
我們建議在多進程模式下使用start.sh啟動抹布-GPT服務，以使用戶體驗更順利。

配置管理控制台

登錄到管理控制台

通過鏈接http://your-server-ip:7000/open-kf-admin/訪問管理員控制台。默認用戶名和密碼為admin和open_kf_AIGC@2024 （可以在create_sqlite_db.py中檢查）。

登錄成功後，您將能夠看到管理控制台的配置頁面。

在頁面上http://your-server-ip:7000/open-kf-admin/#/ ，您可以設置以下配置：

選擇LLM基礎，目前只有gpt-3.5-turbo選項可用，該選項將逐漸擴展。
初始消息
建議的消息
消息佔位符
個人資料圖片（上傳圖片）
顯示名稱
聊天圖標（上傳圖片）

導入您的數據

導入網站

提交網站URL後，一旦服務器通過爬網檢索所有網頁URL的列表，就可以選擇所需的網頁URL作為知識庫（默認情況下選擇）。 Recorded初始Status 。

您可以在瀏覽器中積極刷新頁面http://your-server-ip:7000/open-kf-admin/#/source以獲取網頁URL處理的進度。在網頁網址的內容被爬行並完成嵌入計算和存儲後，您可以在管理控制台中看到相應的Size ，並且Status也將更新為Trained 。