ai markdown llm retrieval

Vectordb-Llm-Abfragemotor auf Lappenbasis

Dieses Projekt implementiert ein KI-angetriebenes Dokument-Query-System mit Langchain, Chromadb und OpenAIs Sprachmodellen. Es ermöglicht Benutzern, eine durchsuchbare Datenbank aus Markdown -Dokumenten zu erstellen und sie mit natürlicher Sprache abzufragen.

Merkmale

• Erstellung der Vektordatenbank aus Markdown -Dokumenten
• Einbettung und Abfragekostenschätzung
• Ähnlichkeitssuche in der Datenbank
• AI-betriebene Antwortgenerierung für Benutzeranfragen

Architekturdiagramm

Anforderungen

• Python 3.7+
• Abhängigkeiten, die in requirements.txt aufgeführt sind.txt

Installation

1. Klonen Sie dieses Repository
2. Erstellen Sie eine virtuelle Umgebung:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. Installieren Sie die erforderlichen Pakete:

    pip install -r requirements.txt
   

4. Richten Sie Ihren OpenAI -API -Schlüssel in einer .env -Datei ein:

    OPENAI_API_KEY=your_api_key_here
   

Erste Schritte

Befolgen Sie die folgenden Schritte, um die VectordB-LlM-Abfrage-Engine von RAG-basiertem Ragen schnell einzurichten und zu verwenden:

1. Erstellen Sie eine Datenbank aus Ihren Markdown -Dokumenten:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   In diesem Befehl verarbeitet die Markdown-Dateien im Verzeichnis data/ go-docs und erstellen eine Vektor-Datenbank im Ordner chroma_go_docs/ Ordner.

2. Fragen Sie die Datenbank mit einer natürlichen Sprachfrage ab:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. Sehen Sie sich die AI-generierte Antwort an:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

Verwendung

Weitere detailliertere Verwendungsanweisungen finden Sie in den folgenden Abschnitten:

1. Erstellen Sie die Datenbank

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. Fragen Sie die Datenbank ab

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

Dateistruktur

• create_database.py : Datenbankerstellungskript
• query_data.py : Datenbank -Abfrage -Skript
• estimate_cost.py : Kostenschätzungsmodul
• get_token_count.py : Token Counting Utility
• data/ : Markdown -Dokumenteverzeichnis
• chroma/ : Chromadb -Datenbankspeicher (gitigned)

Notizen

• Verwendet OpenAs text-embedding-3-small für Einbettungen und gpt-3.5-turbo für Antworten standardmäßig
• Platzieren Sie Markdown -Dateien in data/ oder geben Sie einen benutzerdefinierten Pfad an
• Die in chroma/ (gitigned) gespeicherte Chromadb -Datenbank, die gespeichert ist

Fehlerbehebung

• Stellen Sie sicher
• Überprüfen Sie den OpenAI -API -Schlüssel- und Konto -Gutschriften für API -Fehler

Lizenz

Dieses Projekt ist gemäß den Bedingungen der MIT -Lizenz lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.

Gebaut mit

• Langchain
• Chromadb
• Openai
• tiktoken

Für Fragen oder Probleme öffnen Sie bitte ein Problem im Github -Repository.