GraphRAG4OpenWebUI Download - GraphRAG4OpenWebUI Download de código fonte

GraphRAG4OpenWebUI

Outro código-fonte

1.0.0

Baixar

如有问题请联系我的微信 Stoeng

项目对应的视频演示请看 https://youtu.be/z4si6o5nq4c

GraphRag4OPENWEBUI

Integrar a tecnologia Graphrag da Microsoft à Webui Open para recuperação de informações avançadas

Inglês | 简体中文

GraphRag4OpenWebui é uma interface de API projetada especificamente para o Open Webui, com o objetivo de integrar a tecnologia Graphrag da Microsoft Research (geração de recuperação baseada em gráficos). Este projeto fornece um poderoso sistema de recuperação de informações que suporta vários modelos de pesquisa, particularmente adequados para uso em interfaces de usuário da web abertas.

Visão geral do projeto

O principal objetivo deste projeto é fornecer uma interface conveniente para o Open Webui para aproveitar os poderosos recursos do Graphrag. Ele integra três métodos principais de recuperação e oferece uma opção de pesquisa abrangente, permitindo que os usuários obtenham resultados completos e precisos de pesquisa.

Principais recursos de recuperação

Pesquisa local
- Utiliza a tecnologia Graphrag para recuperação eficiente em bases de conhecimento local
- Adequado para acesso rápido a informações estruturadas predefinidas
- Aproveita as estruturas gráficas para melhorar a precisão e a relevância da recuperação
Pesquisa global
- Procura informações em um escopo mais amplo, além das bases de conhecimento local
- Adequado para consultas que exigem informações mais abrangentes
- Utiliza recursos de compreensão do contexto global do Graphrag para fornecer resultados de pesquisa mais ricos
Pesquise tavily
- Integra a API de pesquisa externa de Tavily
- Fornece recursos adicionais de pesquisa na Internet, expandindo as fontes de informação
- Adequado para consultas que exigem as informações da Web mais recentes ou extensas
Pesquisa completa do modelo
- Combina todos os três métodos de pesquisa acima
- Fornece os resultados mais abrangentes da pesquisa, atendendo às necessidades de informação complexas
- Integra e classifica automaticamente informações de diferentes fontes

LLM local e suporte do modelo de incorporação

O GraphRag4OpenWebui agora suporta o uso de modelos de idiomas locais (LLMS) e modelos de incorporação, aumentando a flexibilidade e a privacidade do projeto. Especificamente, apoiamos os seguintes modelos locais:

Ollama
- Suporta vários LLMs de código aberto que passam por Ollama, como Llama 2, Mistral, etc.
- Pode ser configurado definindo a variável de ambiente API_BASE para apontar para o ponto final da API de Ollama
LM Studio
- Compatível com modelos executados pelo LM Studio
- Conecte -se ao serviço do LM Studio, configurando a variável de ambiente API_BASE
Modelos de incorporação local
- Suporta o uso de modelos de incorporação de execução localmente, como Sentencetransformers
- Especifique o modelo de incorporação a ser usado definindo a variável de ambiente GRAPHRAG_EMBEDDING_MODEL

Esse suporte para modelos locais permite que o GraphRag4OpenWebui seja executado sem depender de APIs externas, aprimorando a privacidade de dados e reduzindo os custos de uso.

Instalação

Verifique se você possui o Python 3.8 ou superior instalado no seu sistema. Em seguida, siga estas etapas para instalar:

Clone o repositório:

git clone https://github.com/your-username/GraphRAG4OpenWebUI.git
cd GraphRAG4OpenWebUI

Crie e ativar um ambiente virtual:

python -m venv venv
source venv/bin/activate  # On Windows use venvScriptsactivate

Instale dependências:
```
pip install -r requirements.txt
```
NOTA: O pacote Graphrag pode precisar ser instalado a partir de uma fonte específica. Se o comando acima não instalar o Graphrag, consulte as instruções específicas da Microsoft Research ou entre em contato com o mantenedor para obter o método de instalação correto.

Configuração

Antes de executar a API, você precisa definir as seguintes variáveis de ambiente. Você pode fazer isso criando um arquivo .env ou exportando -os diretamente em seu terminal:

 # Set the TAVILY API key 
export TAVILY_API_KEY= " your_tavily_api_key "

export INPUT_DIR= " /path/to/your/input/directory "

# Set the API key for LLM
export GRAPHRAG_API_KEY= " your_actual_api_key_here "

# Set the API key for embedding (if different from GRAPHRAG_API_KEY)
export GRAPHRAG_API_KEY_EMBEDDING= " your_embedding_api_key_here "

# Set the LLM model 
export GRAPHRAG_LLM_MODEL= " gemma2 "

# Set the API base URL 
export API_BASE= " http://localhost:11434/v1 "

# Set the embedding API base URL (default is OpenAI's API)
export API_BASE_EMBEDDING= " https://api.openai.com/v1 "

# Set the embedding model (default is "text-embedding-3-small")
export GRAPHRAG_EMBEDDING_MODEL= " text-embedding-3-small "

Certifique -se de substituir os espaços reservados nos comandos acima por suas chaves e caminhos da API reais.

Uso

Inicie o servidor:
```
 python main-en.py
```
O servidor será executado em http://localhost:8012 .
Endpoints da API:
- /v1/chat/completions : solicitação de postagem para executar pesquisas
- /v1/models : Obtenha solicitação para recuperar a lista de modelos disponíveis
Integração com o Open Webui: Na configuração Open Webui, defina o endpoint da API como http://localhost:8012/v1/chat/completions . Isso permitirá que o Open Webui use a funcionalidade de pesquisa do GraphRag4OpenWebui.

Exemplo de solicitação de pesquisa:

 import requests
import json

url = "http://localhost:8012/v1/chat/completions"
headers = { "Content-Type" : "application/json" }
data = {
    "model" : "full-model:latest" ,
    "messages" : [{ "role" : "user" , "content" : "Your search query" }],
    "temperature" : 0.7
}

response = requests . post ( url , headers = headers , data = json . dumps ( data ))
print ( response . json ())

Modelos disponíveis

graphrag-local-search:latest : Pesquisa local
graphrag-global-search:latest : Pesquisa Global
tavily-search:latest : Pesquisa Tavily
full-model:latest : pesquisa abrangente (inclui todos os métodos de pesquisa acima)

Notas

Verifique se você possui os arquivos de entrada corretos (como arquivos parquet) no diretório INPUT_DIR .
A API usa programação assíncrona, verifique se o seu ambiente suporta operações assíncronas.
Para implantação em larga escala, considere usar um servidor ASGI de produção de produção.
Este projeto foi projetado especificamente para o Open Webui e pode ser facilmente integrado a vários aplicativos baseados na Web.