Descargar GraphRAG4OpenWebUI - Descargar el código fuente de GraphRAG4OpenWebUI

GraphRAG4OpenWebUI

Otro código fuente

1.0.0

Descargar

如有问题请联系我的微信 Stoeng

项目对应的视频演示请看 https://youtu.be/z4si6o5nq4c

Graphrag4openwebui

Integre la tecnología GraphRag de Microsoft en WebUI abierto para la recuperación de información avanzada

Inglés | 简体中文

GraphraG4openWebui es una interfaz API específicamente diseñada para WebUI abierto, con el objetivo de integrar la tecnología GraphRAG de Microsoft Research (generación de recuperación basada en gráficos). Este proyecto proporciona un poderoso sistema de recuperación de información que admite múltiples modelos de búsqueda, particularmente adecuados para su uso en interfaces de usuario web abiertos.

Descripción general del proyecto

El objetivo principal de este proyecto es proporcionar una interfaz conveniente para que Open WebUI aproveche las potentes características de Graphrag. Integra tres métodos de recuperación principales y ofrece una opción de búsqueda integral, lo que permite a los usuarios obtener resultados de búsqueda exhaustivos y precisos.

Características de recuperación de clave

Búsqueda local
- Utiliza la tecnología Graphrag para la recuperación eficiente en las bases de conocimiento locales
- Adecuado para el acceso rápido a la información estructurada predefinida
- Aprovecha las estructuras gráficas para mejorar la precisión y la relevancia de la recuperación
Búsqueda global
- Busca información en un alcance más amplio, más allá de las bases de conocimiento locales
- Adecuado para consultas que requieren información más completa
- Utiliza las capacidades de comprensión del contexto global de GraphragAg para proporcionar resultados de búsqueda más ricos
Búsqueda tavily
- Integra la API de búsqueda de tavilios externos
- Proporciona capacidades de búsqueda de Internet adicionales, expansión de fuentes de información
- Adecuado para consultas que requieren la información web más reciente o extensa
Búsqueda de modelos completos
- Combina los tres métodos de búsqueda anteriores
- Proporciona los resultados de búsqueda más completos, satisfacer las necesidades de información compleja
- Integra y clasifica automáticamente la información de diferentes fuentes

Local LLM y soporte del modelo de incrustación

Graphrag4openwebui ahora admite el uso de modelos de idiomas locales (LLMS) e incrustación de modelos, aumentando la flexibilidad y privacidad del proyecto. Específicamente, apoyamos los siguientes modelos locales:

Ollama
- Apoya a varios LLM de código abierto que se dirigen a través de Ollama, como Llama 2, Mistral, etc.
- Se puede configurar configurando la variable de entorno API_BASE para apuntar al punto final API de Ollama
LM Studio
- Compatible con modelos administrados por LM Studio
- Conéctese al servicio de LM Studio configurando la variable de entorno API_BASE
Modelos de incrustación local
- Admite el uso de modelos de incrustación localmente ejecutados, como SentencaTransformers
- Especifique el modelo de incrustación que se utilizará configurando la variable de entorno GRAPHRAG_EMBEDDING_MODEL

Este soporte para modelos locales permite que Graphrag4openWebui se ejecute sin depender de API externas, mejorar la privacidad de los datos y reducir los costos de uso.

Instalación

Asegúrese de tener Python 3.8 o más instalado en su sistema. Luego, siga estos pasos para instalar:

Clon el repositorio:

git clone https://github.com/your-username/GraphRAG4OpenWebUI.git
cd GraphRAG4OpenWebUI

Crear y activar un entorno virtual:

python -m venv venv
source venv/bin/activate  # On Windows use venvScriptsactivate

Instalar dependencias:
```
pip install -r requirements.txt
```
Nota: El paquete Graphrag es posible que deba instalarse desde una fuente específica. Si el comando anterior no puede instalar Graprag, consulte las instrucciones específicas de Microsoft Research o comuníquese con el mantenedor para el método de instalación correcto.

Configuración

Antes de ejecutar la API, debe establecer las siguientes variables de entorno. Puede hacer esto creando un archivo .env o exportándolos directamente en su terminal:

 # Set the TAVILY API key 
export TAVILY_API_KEY= " your_tavily_api_key "

export INPUT_DIR= " /path/to/your/input/directory "

# Set the API key for LLM
export GRAPHRAG_API_KEY= " your_actual_api_key_here "

# Set the API key for embedding (if different from GRAPHRAG_API_KEY)
export GRAPHRAG_API_KEY_EMBEDDING= " your_embedding_api_key_here "

# Set the LLM model 
export GRAPHRAG_LLM_MODEL= " gemma2 "

# Set the API base URL 
export API_BASE= " http://localhost:11434/v1 "

# Set the embedding API base URL (default is OpenAI's API)
export API_BASE_EMBEDDING= " https://api.openai.com/v1 "

# Set the embedding model (default is "text-embedding-3-small")
export GRAPHRAG_EMBEDDING_MODEL= " text-embedding-3-small "

Asegúrese de reemplazar a los marcadores de posición en los comandos anteriores con sus teclas y rutas API reales.

Uso

Inicie el servidor:
```
 python main-en.py
```
El servidor se ejecutará en http://localhost:8012 .
Puntos finales de la API:
- /v1/chat/completions : solicitud de publicación para realizar búsquedas
- /v1/models : Obtenga una solicitud para recuperar la lista de modelos disponibles
Integración con Open WebUI: en la configuración Open WebUI, establezca el punto final API en http://localhost:8012/v1/chat/completions . Esto permitirá que Open WebUI use la funcionalidad de búsqueda de Graphrag4openWebui.

Solicitud de búsqueda de ejemplo:

 import requests
import json

url = "http://localhost:8012/v1/chat/completions"
headers = { "Content-Type" : "application/json" }
data = {
    "model" : "full-model:latest" ,
    "messages" : [{ "role" : "user" , "content" : "Your search query" }],
    "temperature" : 0.7
}

response = requests . post ( url , headers = headers , data = json . dumps ( data ))
print ( response . json ())

Modelos disponibles

graphrag-local-search:latest : búsqueda local
graphrag-global-search:latest : Búsqueda global
tavily-search:latest : búsqueda de tavily
full-model:latest : búsqueda completa (incluye todos los métodos de búsqueda anteriores)

Notas

Asegúrese de tener los archivos de entrada correctos (como los archivos Parquet) en el directorio INPUT_DIR .
La API utiliza programación asíncrona, asegúrese de que su entorno admita las operaciones de Async.
Para la implementación a gran escala, considere usar un servidor ASGI de grado de producción.
Este proyecto está diseñado específicamente para Open WebUI y se puede integrar fácilmente en varias aplicaciones basadas en la web.