compendiumkeeper

Kompendienküster

Compendium Keeper ist ein Tool, das Kompendiumdaten (von Compendium Scribe generiert) in eine Vektordatenbank (wie Pinecone) zur Stromversorgung von RAG (RAG) (wie Pinecone) indexiert.

Merkmale

• In einem Kompendium von einem Kompendium in einen Vektorspeicher leicht indexieren.
• Einbetten Sie Konzeptinhalte, Fragen und Schlüsselwörter mit OpenAI -Einbettungen ein.
• Speichereinbettungen und Metadaten in einer Vektordatenbank zum schnellen Abrufen.
• Unterstützt mehrere Vektordatenbanken durch eine erweiterbare Architektur.
• Behandelt beide .compendium.pickle und .compendium.xml -Dateiformate.

Anforderungen

• Python 3.12+
• Kompendiumsschreiber muss installiert werden.
• OpenAI -API -Schlüssel.
• Pinecone -API -Taste und -umgebung (bei Verwendung von Pinecone).

Installation

1. Klonen Sie das Repository

git clone https://github.com/yourusername/compendiumkeeper.git
cd compendiumkeeper

2. Abhängigkeiten installieren

Stellen Sie sicher, dass Sie PDM installiert haben. Dann rennen:

pdm install

Konfiguration

Erstellen Sie eine .env -Datei im Stammverzeichnis des Projekts, um Ihre API -Schlüssel und Konfiguration zu speichern. Sie können das bereitgestellte .env.example als Vorlage verwenden.

Beispiel .env -Datei

 # .env.example

# OpenAI API Key for generating embeddings
OPENAI_API_KEY = sk-your-openai-api-key

# Pinecone API Key and Environment
PINECONE_API_KEY = your-pinecone-api-key
PINECONE_ENVIRONMENT = us-east-1-aws

.env .env.example

Verwendung

1. Generieren Sie ein Kompendium mit Compendium Scribe

compendium-scribe-create-compendium --domain " Cell Biology "

Dies erzeugt Dateien wie cell_biology_2024-12-05.compendium.pickle und cell_biology_2024-12-05.compendium.xml .

2. Index das Kompendium

Verwenden Sie die Option --compendium-file , um die Kompendiumdatei (Gurke oder XML) anzugeben.
Sie müssen auch den Vektor-Datenbank-Indexnamen mit der Option --index-name angeben.

Stellen Sie sicher, dass Ihre .env -Datei ordnungsgemäß mit den erforderlichen API -Schlüssel konfiguriert ist.

Index aus einer Gurkendatei

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.pickle --index-name my_knowledge_index

Index aus einer XML -Datei

pdm run compendium-keeper index --compendium-file cell_biology_2024-12-05.compendium.xml --index-name my_knowledge_index

3. Überprüfen Sie die Indexierung

Nach einer erfolgreichen Ausführung sollten Sie eine Bestätigungsnachricht sehen, die die Anzahl der indizierten Konzepte angibt.

 Indexed 25 concepts from domain 'Cell Biology' into index 'my_knowledge_index'.
Indexing complete!

4. Kombinieren Sie mehrere Kompendien

Um eine einzelne Wissensbasis zu erstellen, die mehrere Kompendien umfasst, wiederholen Sie den Indexierungsprozess für jedes Kompendium mit demselben --index-name .

Zum Beispiel:

pdm run compendium-keeper index --compendium-file django_2024-12-10.compendium.pickle --index-name all_python_knowledge
pdm run compendium-keeper index --compendium-file flask_2024-12-10.compendium.xml --index-name all_python_knowledge

Dadurch wird das Wissen aus mehreren Kompendien in denselben Vektor -Datenbankindex zusammengefasst.

Erweiterbarkeit

• Mehrere Vektor -Datenbanken : Die Architektur ermöglicht das Hinzufügen von Unterstützung für andere Vektor -Datenbanken (z. B. Weaviate, Chromadb), indem neue Klassen im vector_db/ Verzeichnis implementiert werden.
• Benutzerdefinierte Einbettungsstrategien : Ändern oder erweitern Sie utils.py , um anzupassen, wie Einbetten generiert oder verarbeitet werden.

Entwickler Workflow

1. Umgebungsvariablen einrichten

   Erstellen Sie eine .env -Datei wie oben beschrieben.

2. Ein Kompendium erzeugen

   Verwenden Sie Compendium Scribe, um ein Kompendium im Gurken- oder XML -Format zu generieren.

3. Index mit Compendium Keeper

   Führen Sie den Indexierungsbefehl aus, um Einbettung in Ihre ausgewählte Vektor -Datenbank hochzuladen.

Fehlerbehebung

• Fehlende API -Schlüssel

  Stellen Sie sicher, dass Ihre .env -Datei alle erforderlichen API -Schlüssel enthält. Die CLI benachrichtigt Sie, wenn etwas fehlt.

• Nicht unterstützter Vektor db

  Derzeit wird nur Tinecone unterstützt. Um Unterstützung für eine andere Vektor -Datenbank hinzuzufügen, implementieren Sie eine neue Klasse in vector_db/ Halten in die VectorDatabase abstrakte Basisklasse.

• Dateiformatprobleme

  Stellen Sie sicher, dass die von Ihnen anbieten Sie in entweder in .compendium.pickle --compendium-file .compendium.xml endet. Dateien mit anderen Erweiterungen werden nicht unterstützt.

• API -Ratengrenzen

  Achten Sie auf die API -Ratengrenzen von OpenA, wenn große Kompendien indiziert werden. Erwägen Sie bei Bedarf die Implementierung von Chargen oder Ratenbegrenzung.

Beitragen

Beiträge sind willkommen! Fühlen Sie sich frei, ein Problem zu eröffnen oder eine Pull -Anfrage einzureichen.

Lizenz

Compendium Keeper wird unter der MIT -Lizenz freigelassen.