Página Inicial>Relacionado com a programação>Outro código-fonte
Baixar

Rag-gpt

Inicie rapidamente um sistema inteligente de atendimento ao cliente com Flask, LLM, RAG, incluindo front -end, back -end e console de administração.
Demoção ao vivo

Conteúdo

  • Características
  • Arquitetura de recuperação online
  • Implantar o serviço de rag-gpt
    • Etapa 1: Baixe o código do repositório
    • Etapa 2: configure variáveis ​​de .env
      • Usando o OpenAI como a base LLM
      • Usando Zhipuai como a base LLM
      • Usando Deepseek como a base LLM
      • Usando Moonshot como base LLM
      • Usando LLMS local
    • Etapa 3: Implante Rag-Gpt
      • Implante RAG-GPT usando Docker
      • Implante RAG-GPT do código-fonte
        • Configure o ambiente de corrida Python
          • Criar e ativar um ambiente virtual
          • Instale dependências com PIP
        • Crie um banco de dados SQLite
        • Inicie o serviço
  • Configurar o console administrativo
    • Faça login no console do administrador
    • Importar seus dados
      • Importar sites
      • Importar URLs isolados
      • importar arquivos locais
    • Teste o chatbot
    • Incorporar no seu site
    • Painel do Pedido de Solicitação Histórica do Usuário
  • O front -end do Console Admin e Chatbot
    • Console Admin
    • Chatbot

Características

  • Suporte interno LLM : Suporte LLMS baseado em nuvem e LLMs locais.
  • Configuração rápida : permite a implantação dos robôs de serviço de conversação em nível de produção em apenas cinco minutos.
  • Integração diversificada da base de conhecimento : suporta vários tipos de bases de conhecimento, incluindo sites, URLs isolados e arquivos locais.
  • Configuração flexível : oferece um back-end amigável equipado com configurações personalizáveis ​​para gerenciamento simplificado.
  • UI atraente : apresenta uma interface de usuário personalizável e visualmente atraente.

Arquitetura de recuperação online

Implantar o serviço de rag-gpt

Etapa 1: Baixe o código do repositório

Clone o repositório: 

git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt

Etapa 2: configure variáveis ​​de .env

Antes de iniciar o serviço RAG-GPT, você precisa modificar as configurações relacionadas para o programa inicializar corretamente.

Usando o OpenAI como a base LLM 

cp env_of_openai .env

As variáveis ​​em .env 

LLM_NAME= " OpenAI "
OPENAI_API_KEY= " xxxx "
GPT_MODEL_NAME= " gpt-4o-mini "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
USE_GPT4O=0
  • Não modifique LLM_NAME
  • Modifique o OPENAI_API_KEY com sua própria chave. Faça login no site do OpenAI para visualizar sua chave da API.
  • Atualize a configuração GPT_MODEL_NAME , substituindo gpt-4o-mini pelo gpt-4-turbo ou gpt-4o se você quiser usar o GPT-4.
  • Altere BOT_TOPIC para refletir o nome do seu bot. Isso é muito importante, pois será usado na Prompt Construction . Tente usar uma palavra concisa e clara, como OpenIM , LangChain .
  • Ajuste URL_PREFIX para corresponder ao domínio do seu site. Isso é principalmente para gerar links de URL acessíveis para arquivos locais carregados. Como http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Definir USE_LLAMA_PARSE como 1 se você quiser usar LlamaParse .
  • Modifique o LLAMA_CLOUD_API_KEY com sua própria chave. Faça login no site do Llamacloud para visualizar sua chave da API.
  • Defina USE_GPT4O como 1 se você deseja usar o modo GPT-4o .
  • Para obter mais informações sobre os significados e usos das constantes, você pode verificar no diretório server/constant .

Usando Zhipuai como a base LLM

Se você não puder usar os serviços da API da OpenAI, considere usar o Zhipuai como uma alternativa. 

cp env_of_zhipuai .env

As variáveis ​​em .env 

LLM_NAME= " ZhipuAI "
ZHIPUAI_API_KEY= " xxxx "
GLM_MODEL_NAME= " glm-4-air "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Não modifique LLM_NAME
  • Modifique o ZHIPUAI_API_KEY com sua própria chave. Faça login no site da Zhipuai para visualizar sua chave da API.
  • Atualize a configuração GLM_MODEL_NAME , a lista de modelos é ['glm-3-turbo', 'glm-4', 'glm-4-0520', 'glm-4-air', 'glm-4-airx', 'glm-4-flash'] .
  • Altere BOT_TOPIC para refletir o nome do seu bot. Isso é muito importante, pois será usado na Prompt Construction . Tente usar uma palavra concisa e clara, como OpenIM , LangChain .
  • Ajuste URL_PREFIX para corresponder ao domínio do seu site. Isso é principalmente para gerar links de URL acessíveis para arquivos locais carregados. Como http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Definir USE_LLAMA_PARSE como 1 se você quiser usar LlamaParse .
  • Modifique o LLAMA_CLOUD_API_KEY com sua própria chave. Faça login no site do Llamacloud para visualizar sua chave da API.
  • Para obter mais informações sobre os significados e usos das constantes, você pode verificar no diretório server/constant .

Usando Deepseek como a base LLM

Se você não puder usar os serviços da API da OpenAI, considere usar o DeepSeek como uma alternativa.

Observação

O Deepseek não fornece uma Embedding API , então aqui usamos Embedding API de Zhipuai. 

cp env_of_deepseek .env

As variáveis ​​em .env 

LLM_NAME= " DeepSeek "
ZHIPUAI_API_KEY= " xxxx "
DEEPSEEK_API_KEY= " xxxx "
DEEPSEEK_MODEL_NAME= " deepseek-chat "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Não modifique LLM_NAME
  • Modifique o ZHIPUAI_API_KEY com sua própria chave. Faça login no site da Zhipuai para visualizar sua chave da API.
  • Modifique o DEEPKSEEK_API_KEY com sua própria chave. Faça login no site Deepseek para visualizar sua chave da API.
  • Atualize a configuração DEEPSEEK_MODEL_NAME se você deseja usar outros modelos de Deepseek.
  • Altere BOT_TOPIC para refletir o nome do seu bot. Isso é muito importante, pois será usado na Prompt Construction . Tente usar uma palavra concisa e clara, como OpenIM , LangChain .
  • Ajuste URL_PREFIX para corresponder ao domínio do seu site. Isso é principalmente para gerar links de URL acessíveis para arquivos locais carregados. Como http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Definir USE_LLAMA_PARSE como 1 se você quiser usar LlamaParse .
  • Modifique o LLAMA_CLOUD_API_KEY com sua própria chave. Faça login no site do Llamacloud para visualizar sua chave da API.
  • Para obter mais informações sobre os significados e usos das constantes, você pode verificar no diretório server/constant .

Usando Moonshot como base LLM

Se você não puder usar os serviços de API da OpenAI, considere usar o Moonshot como uma alternativa.

Observação

Moonshot não fornece uma Embedding API , então aqui usamos Embedding API de Zhipuai. 

cp env_of_moonshot .env

As variáveis ​​em .env 

LLM_NAME= " Moonshot "
ZHIPUAI_API_KEY= " xxxx "
MOONSHOT_API_KEY= " xxxx "
MOONSHOT_MODEL_NAME= " moonshot-v1-8k "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Não modifique LLM_NAME
  • Modifique o ZHIPUAI_API_KEY com sua própria chave. Faça login no site da Zhipuai para visualizar sua chave da API.
  • Modifique o MOONSHOT_API_KEY com sua própria chave. Por favor, faça login no site da lua para visualizar sua chave da API.
  • Atualize a configuração MOONSHOT_MODEL_NAME se você deseja usar outros modelos de Moonshot.
  • Altere BOT_TOPIC para refletir o nome do seu bot. Isso é muito importante, pois será usado na Prompt Construction . Tente usar uma palavra concisa e clara, como OpenIM , LangChain .
  • Ajuste URL_PREFIX para corresponder ao domínio do seu site. Isso é principalmente para gerar links de URL acessíveis para arquivos locais carregados. Como http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Definir USE_LLAMA_PARSE como 1 se você quiser usar LlamaParse .
  • Modifique o LLAMA_CLOUD_API_KEY com sua própria chave. Faça login no site do Llamacloud para visualizar sua chave da API.
  • Para obter mais informações sobre os significados e usos das constantes, você pode verificar no diretório server/constant .

Usando LLMS local

Se sua base de conhecimento envolver informações confidenciais e você preferir não usar LLMs baseados em nuvem, considere usar Ollama para implantar grandes modelos localmente.

Observação

Primeiro, consulte o Ollama para instalar o Ollama e baixar o modelo de incorporação mxbai-embed-large e o modelo LLM como llama3 . 

cp env_of_ollama .env

As variáveis ​​em .env 

LLM_NAME= " Ollama "
OLLAMA_MODEL_NAME= " xxxx "
OLLAMA_BASE_URL= " http://127.0.0.1:11434 "
MIN_RELEVANCE_SCORE=0.4
BOT_TOPIC= " xxxx "
URL_PREFIX= " http://127.0.0.1:7000/ "
USE_PREPROCESS_QUERY=1
USE_RERANKING=1
USE_DEBUG=0
USE_LLAMA_PARSE=0
LLAMA_CLOUD_API_KEY= " xxxx "
  • Não modifique LLM_NAME
  • Atualize a configuração OLLAMA_MODEL_NAME , selecione um modelo apropriado na biblioteca Ollama.
  • Se você alterou o IP:PORT ao iniciar Ollama , atualize OLLAMA_BASE_URL . Por favor, preste atenção especial, digite apenas o IP (domínio) e a porta aqui, sem anexar um URI.
  • Altere BOT_TOPIC para refletir o nome do seu bot. Isso é muito importante, pois será usado na Prompt Construction . Tente usar uma palavra concisa e clara, como OpenIM , LangChain .
  • Ajuste URL_PREFIX para corresponder ao domínio do seu site. Isso é principalmente para gerar links de URL acessíveis para arquivos locais carregados. Como http://127.0.0.1:7000/web/download_dir/2024_05_20/d3a01d6a-90cd-4c2a-b926-9cda12466caf/openssl-cookbook.pdf .
  • Definir USE_LLAMA_PARSE como 1 se você quiser usar LlamaParse .
  • Modifique o LLAMA_CLOUD_API_KEY com sua própria chave. Faça login no site do Llamacloud para visualizar sua chave da API.
  • Para obter mais informações sobre os significados e usos das constantes, você pode verificar no diretório server/constant .

Etapa 3: Implante Rag-Gpt

Implante RAG-GPT usando Docker

Observação

Ao implantar com o Docker, preste atenção especial ao host do url_prefix no arquivo .env . Se estiver usando Ollama , também preste atenção especial ao host de ollama_base_url no arquivo .env . Eles precisam usar o endereço IP real da máquina host. 

docker-compose up --build

Implante RAG-GPT do código-fonte

Observação

Use Python versão 3.10.x ou acima.

Configure o ambiente de corrida Python

Recomenda-se instalar dependências relacionadas ao Python em um ambiente virtual do Python para evitar afetar dependências de outros projetos.

Criar e ativar um ambiente virtual

Se você ainda não criou um ambiente virtual, pode criar um com o seguinte comando: 

python3 -m venv myenv

Após a criação, ative o ambiente virtual: 

 source myenv/bin/activate
Instale dependências com PIP

Depois que o ambiente virtual for ativado, você pode usar pip para instalar as dependências necessárias. 

pip install -r requirements.txt
Crie um banco de dados SQLite

O serviço RAG-GPT usa o SQLite como seu banco de dados de armazenamento. Antes de iniciar o serviço RAG-GPT, você precisa executar o seguinte comando para inicializar o banco de dados e adicionar a configuração padrão para o console do administrador. 

python3 create_sqlite_db.py
Inicie o serviço

Se você concluiu as etapas acima, tente iniciar o serviço RAG-GPT executando o seguinte comando.

  • Inicie o processo único: 
python3 rag_gpt_app.py
  • Inicie vários processos: 
sh start.sh

Observação

  • A porta de serviço para RAG-GPT é 7000 . Durante o primeiro teste, tente não alterar a porta para poder experimentar rapidamente todo o processo do produto.
  • Recomendamos iniciar o serviço RAG-GPT usando start.sh no modo multipocess para uma experiência mais suave do usuário.

Configurar o console administrativo

Faça login no console do administrador

Acesse o console do administrador através do link http://your-server-ip:7000/open-kf-admin/ para chegar à página de login. O nome de usuário e a senha padrão são admin e open_kf_AIGC@2024 (podem ser verificados em create_sqlite_db.py ).

Após o login com sucesso, você poderá ver a página de configuração do console do administrador.

Na página http://your-server-ip:7000/open-kf-admin/#/ , você pode definir as seguintes configurações:

  • Escolha a base LLM, atualmente apenas a opção gpt-3.5-turbo está disponível, que será gradualmente expandida.
  • Mensagens iniciais
  • Mensagens sugeridas
  • Espaço reservado por mensagem
  • Imagem do perfil (envie uma imagem)
  • Nome de exibição
  • Ícone de bate -papo (envie uma foto)

Importar seus dados

Importar sites

Depois de enviar o URL do site, depois que o servidor recuperar a lista de todos os URLs da página da web via rastreamento, você pode selecionar os URLs da página da web necessários como a base de conhecimento (todos selecionados por padrão). O Status inicial é Recorded .

Você pode atualizar ativamente a página http://your-server-ip:7000/open-kf-admin/#/source no seu navegador para obter o progresso do processamento da URL da página da web. Depois que o conteúdo do URL da página da web foi rasteado e o cálculo e o armazenamento de incorporação são concluídos, você pode ver o Size correspondente no console do administrador e o Status também será atualizado para Trained .

Clicar no URL de uma página da web revela quantas subpáginas a página da web é dividida e o tamanho do texto de cada sub-página.

Clicar em uma sub-página permite visualizar seu conteúdo completo de texto. Isso será muito útil para verificar os efeitos durante o processo de teste de experiência.

Importar URLs isolados

Colete os URLs das páginas da web necessárias. Você pode enviar até 10 URLs de página da web por vez, e essas páginas podem ser de diferentes domínios.

Importar arquivos locais

Carregue os arquivos locais necessários. Você pode fazer upload de até 10 arquivos por vez e cada arquivo não pode exceder 30MB . Os seguintes tipos de arquivo são suportados atualmente: [".txt", ".md", ".pdf", ".epub", ".mobi", ".html", ".docx", ".pptx", ".xlsx", ".csv"] .

Teste o chatbot

Depois de importar os dados do site no console do administrador, você pode experimentar o serviço de chatbot através do link http://your-server-ip:7000/open-kf-chatbot/ .

Incorporar no seu site

Através do link do console do Admin http://your-server-ip:7000/open-kf-admin/#/embed , você pode ver o tutorial detalhado para configurar o iframe em seu site.


OpenIm chatbot

Painel do Pedido de Solicitação Histórica do Usuário

Através do link do console do administrador http://your-server-ip:7000/open-kf-admin/#/dashboard , você pode visualizar os registros de solicitação histórica de todos os usuários dentro de um intervalo de tempo especificado.

O front -end do Console Admin e Chatbot

O serviço RAG-GPT integra 2 módulos de front-end, e suas informações de código-fonte são as seguintes:

Console Admin

Repositório de código

Uma interface de administração intuitiva baseada na Web para o serviço de qa inteligente, oferecendo controle abrangente sobre conteúdo, configuração e interações do usuário. Permite o gerenciamento sem esforço da base de conhecimento, o monitoramento em tempo real de consultas e feedback e melhoria contínua com base nos insights do usuário.

Chatbot

Repositório de código

Uma interface HTML5 para serviço de qa inteligente projetado para facilitar a integração nos sites via iframe, fornecendo aos usuários acesso direto a uma base de conhecimento personalizada sem sair do site, aprimorando a funcionalidade e a resolução imediata da consulta.

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos