rag gpt下载 - rag gpt源代码下载

rag gpt

其他源码

v0.2.2

下载

抹布-GPT

快速启动使用烧瓶，LLM，抹布，包括前端，后端和管理控制台的智能客户服务系统。
现场演示

内容

特征
在线检索架构
部署抹布-GPT服务
- 步骤1：下载存储库代码
- 步骤2：配置.env的变量
  - 使用Openai作为LLM基础
  - 使用Zhipuai作为LLM基础
  - 使用DeepSeek作为LLM基础
  - 使用月球作为LLM底座
  - 使用本地LLM
- 步骤3：部署抹布-GPT
  - 使用Docker部署抹布-GPT
  - 从源代码部署抹布-GPT
    - 设置Python运行环境
      - 创建和激活虚拟环境
      - 使用PIP安装依赖项
    - 创建SQLITE数据库
    - 开始服务
配置管理控制台
- 登录到管理控制台
- 导入您的数据
  - 导入网站
  - 进口孤立的URL
  - 导入本地文件
- 测试聊天机器人
- 嵌入您的网站
- 用户历史请求的仪表板
管理员和聊天机器人的前端
- 管理控制台
- 聊天机器人

特征

内置LLM支持：支持基于云的LLM和本地LLM。
快速设置：在短短五分钟内就可以部署生产级别的对话服务机器人。
各种知识基础集成：支持多种类型的知识库，包括网站，孤立的URL和本地文件。
灵活配置：提供配备可自定义设置的用户友好的后端，用于简化管理。
有吸引力的UI ：具有可自定义且具有视觉吸引力的用户界面。

在线检索架构

部署抹布-GPT服务

步骤1：下载存储库代码

克隆存储库：

git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt

步骤2：配置.env的变量

在启动RAG-GPT服务之前，您需要修改程序的相关配置以正确初始化。

使用Openai作为LLM基础

cp env_of_openai .env

.env中的变量

LLM_NAME= " OpenAI "
OPENAI_API_KEY= " xxxx "
GPT_MODEL_NAME= " gpt-4o-mini "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
USE_GPT4O=0

不要修改LLM_NAME
用自己的密钥修改OPENAI_API_KEY 。请登录到OpenAI网站以查看您的API密钥。
如果要使用GPT-4，则更新GPT_MODEL_NAME设置，用gpt-4-turbo或gpt-4o替换gpt-4o-mini 。
更改BOT_TOPIC以反映您的机器人的名称。这非常重要，因为它将用于Prompt Construction 。请尝试使用一个简洁明了的单词，例如OpenIM ， LangChain 。
调整URL_PREFIX以匹配您的网站域。这主要用于生成上传的本地文件的可访问URL链接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，将USE_LLAMA_PARSE设置为1。
用自己的密钥修改LLAMA_CLOUD_API_KEY 。请登录到Llamacloud网站以查看您的API密钥。
如果要使用GPT-4o模式，将USE_GPT4O设置为1。
有关常数的含义和用法的更多信息，您可以在server/constant目录下检查。

使用Zhipuai作为LLM基础

如果您不能使用OpenAI的API服务，请考虑使用Zhipuai作为替代方案。

cp env_of_zhipuai .env

.env中的变量

LLM_NAME= " ZhipuAI "
ZHIPUAI_API_KEY= " xxxx "
GLM_MODEL_NAME= " glm-4-air "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密钥修改ZHIPUAI_API_KEY 。请登录Zhipuai网站以查看您的API密钥。
更新GLM_MODEL_NAME设置，模型列表为['glm-3-turbo', 'glm-4', 'glm-4-0520', 'glm-4-air', 'glm-4-airx', 'glm-4-flash'] 。
更改BOT_TOPIC以反映您的机器人的名称。这非常重要，因为它将用于Prompt Construction 。请尝试使用一个简洁明了的单词，例如OpenIM ， LangChain 。
调整URL_PREFIX以匹配您的网站域。这主要用于生成上传的本地文件的可访问URL链接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，将USE_LLAMA_PARSE设置为1。
用自己的密钥修改LLAMA_CLOUD_API_KEY 。请登录到Llamacloud网站以查看您的API密钥。
有关常数的含义和用法的更多信息，您可以在server/constant目录下检查。

使用DeepSeek作为LLM基础

如果您无法使用OpenAI的API服务，请考虑使用DeepSeek作为替代方案。

笔记

DeepSeek不提供Embedding API ，因此在这里我们使用Zhipuai的Embedding API 。

cp env_of_deepseek .env

.env中的变量

LLM_NAME= " DeepSeek "
ZHIPUAI_API_KEY= " xxxx "
DEEPSEEK_API_KEY= " xxxx "
DEEPSEEK_MODEL_NAME= " deepseek-chat "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密钥修改ZHIPUAI_API_KEY 。请登录Zhipuai网站以查看您的API密钥。
用自己的密钥修改DEEPKSEEK_API_KEY 。请登录到DeepSeek网站以查看您的API密钥。
如果要使用其他DeepSeek模型，请更新DEEPSEEK_MODEL_NAME设置。
更改BOT_TOPIC以反映您的机器人的名称。这非常重要，因为它将用于Prompt Construction 。请尝试使用一个简洁明了的单词，例如OpenIM ， LangChain 。
调整URL_PREFIX以匹配您的网站域。这主要用于生成上传的本地文件的可访问URL链接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，将USE_LLAMA_PARSE设置为1。
用自己的密钥修改LLAMA_CLOUD_API_KEY 。请登录到Llamacloud网站以查看您的API密钥。
有关常数的含义和用法的更多信息，您可以在server/constant目录下检查。

使用月球作为LLM底座

如果您无法使用OpenAI的API服务，请考虑使用Moonshot作为替代方案。

笔记

Moonshot不提供Embedding API ，因此在这里我们使用Zhipuai的Embedding API 。

cp env_of_moonshot .env

.env中的变量

LLM_NAME= " Moonshot "
ZHIPUAI_API_KEY= " xxxx "
MOONSHOT_API_KEY= " xxxx "
MOONSHOT_MODEL_NAME= " moonshot-v1-8k "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
用自己的密钥修改ZHIPUAI_API_KEY 。请登录Zhipuai网站以查看您的API密钥。
用自己的密钥修改MOONSHOT_API_KEY 。请登录到Moonshot网站以查看您的API密钥。
如果要使用其他Moonshot型号，请更新MOONSHOT_MODEL_NAME设置。
更改BOT_TOPIC以反映您的机器人的名称。这非常重要，因为它将用于Prompt Construction 。请尝试使用一个简洁明了的单词，例如OpenIM ， LangChain 。
调整URL_PREFIX以匹配您的网站域。这主要用于生成上传的本地文件的可访问URL链接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，将USE_LLAMA_PARSE设置为1。
用自己的密钥修改LLAMA_CLOUD_API_KEY 。请登录到Llamacloud网站以查看您的API密钥。
有关常数的含义和用法的更多信息，您可以在server/constant目录下检查。

使用本地LLM

如果您的知识库涉及敏感信息，并且您不希望使用基于云的LLM，请考虑使用Ollama在本地部署大型模型。

笔记

首先，请参阅Ollama安装Ollama ，然后下载嵌入式型号mxbai-embed-large和LLM型号（例如llama3 。

cp env_of_ollama .env

.env中的变量

LLM_NAME= " Ollama "
OLLAMA_MODEL_NAME= " xxxx "
OLLAMA_BASE_URL= " http://127.0.0.1:11434 "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "

不要修改LLM_NAME
更新OLLAMA_MODEL_NAME设置，从Ollama库中选择适当的模型。
如果您在启动Ollama时已更改默认IP:PORT ，请更新OLLAMA_BASE_URL 。请特别注意，仅在不附加URI的情况下输入IP（域）和端口。
更改BOT_TOPIC以反映您的机器人的名称。这非常重要，因为它将用于Prompt Construction 。请尝试使用一个简洁明了的单词，例如OpenIM ， LangChain 。
调整URL_PREFIX以匹配您的网站域。这主要用于生成上传的本地文件的可访问URL链接。例如http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf 。
如果要使用LlamaParse ，将USE_LLAMA_PARSE设置为1。
用自己的密钥修改LLAMA_CLOUD_API_KEY 。请登录到Llamacloud网站以查看您的API密钥。
有关常数的含义和用法的更多信息，您可以在server/constant目录下检查。

步骤3：部署抹布-GPT

使用Docker部署抹布-GPT

笔记

使用Docker部署时，请特别注意.env文件中的url_prefix主机。如果使用Ollama ，也请特别注意.env文件中的Ollama_Base_url的主机。他们需要使用主机机器的实际IP地址。

docker-compose up --build

从源代码部署抹布-GPT

笔记

请使用Python版本3.10.x或更高版本。

设置Python运行环境

建议在Python虚拟环境中安装与Python相关的依赖关系，以避免影响其他项目的依赖性。

创建和激活虚拟环境

如果您尚未创建虚拟环境，则可以使用以下命令创建一个：

python3 -m venv myenv

创建后，激活虚拟环境：

 source myenv/bin/activate

使用PIP安装依赖项

一旦激活了虚拟环境，就可以使用pip安装所需的依赖项。

pip install -r requirements.txt

创建SQLITE数据库

RAG-GPT服务使用SQLite作为其存储DB。在启动RAG-GPT服务之前，您需要执行以下命令以初始化数据库并添加admin Console的默认配置。

python3 create_sqlite_db.py

开始服务

如果您已经完成了上述步骤，则可以通过执行以下命令来尝试启动RAG-GPT服务。

开始单个过程：

python3 rag_gpt_app.py

开始多个过程：

sh start.sh

笔记

RAG-GPT的服务端口为7000 。在第一次测试中，请尽量不要更改端口，以便您可以快速体验整个产品过程。
我们建议在多进程模式下使用start.sh启动抹布-GPT服务，以使用户体验更顺利。

配置管理控制台

登录到管理控制台

通过链接http://your-server-ip:7000/open-kf-admin/访问管理员控制台。默认用户名和密码为admin和open_kf_AIGC@2024 （可以在create_sqlite_db.py中检查）。

登录成功后，您将能够看到管理控制台的配置页面。

在页面上http://your-server-ip:7000/open-kf-admin/#/ ，您可以设置以下配置：

选择LLM基础，目前只有gpt-3.5-turbo选项可用，该选项将逐渐扩展。
初始消息
建议的消息
消息占位符
个人资料图片（上传图片）
显示名称
聊天图标（上传图片）

导入您的数据

导入网站

提交网站URL后，一旦服务器通过爬网检索所有网页URL的列表，就可以选择所需的网页URL作为知识库（默认情况下选择）。 Recorded初始Status 。

您可以在浏览器中积极刷新页面http://your-server-ip:7000/open-kf-admin/#/source以获取网页URL处理的进度。在网页网址的内容被爬行并完成嵌入计算和存储后，您可以在管理控制台中看到相应的Size ，并且Status也将更新为Trained 。