compendiumkeeper

Compendium Keeper

Compendium Keeper est un outil qui indexe les données de recueil (générées par Compendium Scribe) dans une base de données vectorielle (comme Pinecone) pour les flux de travail de génération (RAG) (RAG) de la récupération de la puissance.

Caractéristiques

• Indexez facilement les concepts d'un recueil dans un magasin vectoriel.
• Incorporer le contenu du concept, les questions et les mots clés à l'aide d'Openai incorpore.
• Stockez les intégres et les métadonnées dans une base de données vectorielle pour une récupération rapide.
• Prend en charge plusieurs bases de données vectorielles via une architecture extensible.
• Gère les formats de fichiers .compendium.pickle et .compendium.xml .

Exigences

• Python 3.12+
• Le scribe de compendium doit être installé.
• Clé API Openai.
• Clé et environnement de l'API PineCone (si vous utilisez Pinecone).

Installation

1. Cloner le référentiel

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. Installer des dépendances

Assurez-vous que PDM a installé. Puis courez:

pdm install

Configuration

Créez un fichier .env dans le répertoire racine du projet pour stocker vos touches et votre configuration API. Vous pouvez utiliser le .env.example fourni comme modèle.

Exemple .env Fichier

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

Renommez .env.example à .env et remplacez les valeurs d'espace réservé par vos clés API réelles.

Usage

1. Générer un recueil à l'aide du scribe de recueil

compendium-scribe-create-compendium --domain " Cell Biology "

Cela produit des fichiers comme cell_biology_2024-12-05.compendium.pickle et cell_biology_2024-12-05.compendium.xml .

2. Indexez le recueil

Utilisez l'option --compendium-file pour spécifier le fichier Compendium (Pickle ou XML).
Vous devez également spécifier le nom de l'index de la base de données vectorielle à l'aide de l'option --index-name .

Assurez-vous que votre fichier .env est correctement configuré avec les touches API nécessaires.

Index à partir d'un fichier de cornichon

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

Index à partir d'un fichier XML

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. Vérifier l'indexation

Après une exécution réussie, vous devriez voir un message de confirmation indiquant le nombre de concepts indexés.

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. Combiner plusieurs compendia

Pour créer une seule base de connaissances qui s'étend sur plusieurs compendia, répétez le processus d'indexation pour chaque recueil, en utilisant le même --index-name .

Par exemple:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

Cela fusionnera les connaissances de plusieurs compendia dans le même indice de base de données vectorielle.

Extensibilité

• Plusieurs bases de données vectorielles : L'architecture permet d'ajouter la prise en charge d'autres bases de données vectorielles (par exemple, Weavate, ChromAdb) en implémentant de nouvelles classes dans le répertoire vector_db/ .
• Stratégies d'intégration personnalisées : modifiez ou étendez utils.py pour personnaliser comment les intégres sont générés ou traités.

Flux de travail des développeurs

1. Configurer des variables d'environnement

   Créez un fichier .env comme décrit ci-dessus.

2. Générer un recueil

   Utilisez Compendium Scribe pour générer un recueil au format Pickle ou XML.

3. Index avec un gardien de recueil

   Exécutez la commande d'indexation pour télécharger des incorporations dans la base de données vectorielle choisie.

Dépannage

• Clés API manquantes

  Assurez-vous que votre fichier .env contient toutes les clés API requises. La CLI vous informera si elle manque.

• Vector DB non pris en charge

  Actuellement, seule Pinecone est prise en charge. Pour ajouter la prise en charge d'une autre base de données vectorielle, implémentez une nouvelle classe dans vector_db/ Adhering à la classe de base abstraite VectorDatabase .

• Problèmes de format de fichier

  Assurez-vous que le --compendium-file que vous fournissez se termine dans .compendium.pickle ou .compendium.xml . Les fichiers avec d'autres extensions ne sont pas pris en charge.

• Limites de taux d'API

  Soyez conscient des limites du taux de l'API d'Openai lors de l'indexation de grands compendies. Envisagez de mettre en œuvre un lot ou une limitation des taux si nécessaire.

Contributif

Les contributions sont les bienvenues! N'hésitez pas à ouvrir un problème ou à soumettre une demande de traction.

Licence

Compendium Keeper est libéré sous la licence du MIT.