GraphRAG4OpenWebUI

如有问题请联系我的微信 Stoeng

项目对应的视频演示请看 https://youtu.be/z4si6o5nq4c

Graphrag4openwebui

Intégrez la technologie Graphrag de Microsoft dans Open WebUI pour une récupération d'informations avancée

Anglais | 简体中文

Graphrag4OpenWebui est une interface API spécialement conçue pour Open WebUI, visant à intégrer la technologie Graphrag (génération de récupération basée sur le graphique). Ce projet fournit un système de récupération d'informations puissant qui prend en charge plusieurs modèles de recherche, particulièrement adaptés à une utilisation dans les interfaces d'utilisateur Web ouvert.

Aperçu du projet

L'objectif principal de ce projet est de fournir une interface pratique pour Open WebUI afin de tirer parti des fonctionnalités puissantes de Graphrag. Il intègre trois méthodes de récupération principales et offre une option de recherche complète, permettant aux utilisateurs d'obtenir des résultats de recherche approfondis et précis.

Caractéristiques de récupération des clés

1. Recherche locale

   • Utilise la technologie Graphrag pour une récupération efficace dans les bases de connaissances locales
   • Convient pour un accès rapide aux informations structurées prédéfinies
   • Exploite les structures graphiques pour améliorer la précision et la pertinence de la récupération

2. Recherche globale

   • Recherche d'informations dans une portée plus large, au-delà des bases de connaissances locales
   • Convient aux requêtes nécessitant des informations plus complètes
   • Utilise les capacités mondiales de compréhension du contexte de Graphrag pour fournir des résultats de recherche plus riches

3. Recherche de Tavily

   • Intègre une API de recherche externe Tavily
   • Fournit des capacités de recherche Internet supplémentaires, élargissant les sources d'information
   • Convient aux requêtes nécessitant les informations Web les plus récentes ou étendues

4. Recherche complète du modèle

   • Combine les trois méthodes de recherche ci-dessus
   • Fournit les résultats de recherche les plus complets, répondant aux besoins d'informations complexes
   • Intègre et classe automatiquement les informations provenant de différentes sources

LLM local et support de modèle d'intégration

Graphrag4OpenWebui prend désormais en charge l'utilisation de modèles de langue locale (LLMS) et les modèles d'intégration, augmentant la flexibilité et la confidentialité du projet. Plus précisément, nous soutenons les modèles locaux suivants:

1. Ollla

   • Soutient divers LLMS open-source par Olllama, comme Llama 2, Mistral, etc.
   • Peut être configuré en définissant la variable d'environnement API_BASE pour pointer le point de terminaison de l'API d'Olllama

2. Studio LM

   • Compatible avec les modèles gérés par LM Studio
   • Connectez-vous au service de LM Studio en configurant la variable d'environnement API_BASE

3. Modèles d'intégration locaux

   • Prend en charge l'utilisation de modèles d'incorporation locale, tels que SentenTansformateurs
   • Spécifiez le modèle d'intégration à utiliser en définissant la variable d'environnement GRAPHRAG_EMBEDDING_MODEL

Cette prise en charge des modèles locaux permet à Graphrag4OpenWebui de s'exécuter sans s'appuyer sur des API externes, l'amélioration de la confidentialité des données et la réduction des coûts d'utilisation.

Installation

Assurez-vous que Python 3.8 ou supérieur soit installé sur votre système. Ensuite, suivez ces étapes à installer:

1. Clone le référentiel:

   git clone https://github.com/your-username/GraphRAG4OpenWebUI.git
   cd GraphRAG4OpenWebUI

2. Créer et activer un environnement virtuel:

   python -m venv venv
   source venv/bin/activate  # On Windows use venvScriptsactivate

3. Installez les dépendances:

   pip install -r requirements.txt

   Remarque: Le package Graphrag peut être nécessaire à l'installation d'une source spécifique. Si la commande ci-dessus ne parvient pas à installer Graphrag, veuillez consulter les instructions spécifiques de Microsoft Research ou contacter le mainteneur pour la méthode d'installation correcte.

Configuration

Avant d'exécuter l'API, vous devez définir les variables d'environnement suivantes. Vous pouvez le faire en créant un fichier .env ou en les exportant directement dans votre terminal:

 # Set the TAVILY API key 
export TAVILY_API_KEY= " your_tavily_api_key "

export INPUT_DIR= " /path/to/your/input/directory "

# Set the API key for LLM
export GRAPHRAG_API_KEY= " your_actual_api_key_here "

# Set the API key for embedding (if different from GRAPHRAG_API_KEY)
export GRAPHRAG_API_KEY_EMBEDDING= " your_embedding_api_key_here "

# Set the LLM model 
export GRAPHRAG_LLM_MODEL= " gemma2 "

# Set the API base URL 
export API_BASE= " http://localhost:11434/v1 "

# Set the embedding API base URL (default is OpenAI's API)
export API_BASE_EMBEDDING= " https://api.openai.com/v1 "

# Set the embedding model (default is "text-embedding-3-small")
export GRAPHRAG_EMBEDDING_MODEL= " text-embedding-3-small "

Assurez-vous de remplacer les espaces réservés dans les commandes ci-dessus par vos clés et chemins API réels.

Usage

1. Démarrez le serveur:

    python main-en.py
   

   Le serveur s'exécutera sur http://localhost:8012 .

2. Points de terminaison API:

   • /v1/chat/completions : Demande de publication pour effectuer des recherches
   • /v1/models : Obtenez la demande de récupération de la liste des modèles disponibles

3. Intégration avec Open WebUI: Dans la configuration Open WebUI, définissez le point de terminaison de l'API sur http://localhost:8012/v1/chat/completions . Cela permettra à Open Webui d'utiliser la fonctionnalité de recherche de Graphrag4OpenWebui.

4. Exemple de demande de recherche:

    import requests
   import json
   
   url = "http://localhost:8012/v1/chat/completions"
   headers = { "Content-Type" : "application/json" }
   data = {
       "model" : "full-model:latest" ,
       "messages" : [{ "role" : "user" , "content" : "Your search query" }],
       "temperature" : 0.7
   }
   
   response = requests . post ( url , headers = headers , data = json . dumps ( data ))
   print ( response . json ())

Modèles disponibles

• graphrag-local-search:latest : Recherche locale
• graphrag-global-search:latest : Recherche globale
• tavily-search:latest : recherche tavillante
• full-model:latest : Recherche complète (inclut toutes les méthodes de recherche ci-dessus)

Notes

• Assurez-vous que vous disposez des fichiers d'entrée corrects (tels que des fichiers Parquet) dans le répertoire INPUT_DIR .
• L'API utilise une programmation asynchrone, assurez-vous que votre environnement prend en charge les opérations asynchrones.
• Pour un déploiement à grande échelle, envisagez d'utiliser un serveur ASGI de qualité de production.
• Ce projet est spécialement conçu pour l'ouverture de webui et peut être facilement intégré dans diverses applications Web.

Contributif

Les demandes de traction sont les bienvenues. Pour les changements majeurs, veuillez d'abord ouvrir un problème pour discuter de ce que vous souhaitez changer.

Licence

Licence Apache-2.0