Context based document search

Kontextdokumente suchen

Dieses Projekt bietet ein System zur Durchführung einer kontextbasierten Suche in Dokumenten, die in einer Vektor-Datenbank gespeichert sind. Mithilfe von OpenAIs Einbettungsmodellen und Chroma können Sie mit diesem Tool eine Sammlung von Textdokumenten effizient durchsuchen und die relevantesten Ergebnisse basierend auf einer bestimmten Abfrage abrufen.

Merkmale

• Automatische Vektor -Einbettung für Dokumente, die in einem bestimmten Verzeichnis gespeichert sind.
• Einfach zu bedienende Suchfunktionen, die die kontextbezogensten Dokumente findet.
• Persistierender Vektorspeicher mit Chroma, wodurch ein nahtloses Laden und Aktualisieren der Datenbank ermöglicht wird.

Voraussetzungen

• Python 3.7 oder höher

• OpenAI -API -Schlüssel

• Installieren Sie die erforderlichen Pakete durch Ausführen:

  pip install -r requirements.txt

  Installation

1. Klonen Sie das Repository:

   git clone https://github.com/your-username/contextual-documents-search.git

2. Navigieren Sie zum Projektverzeichnis:

    cd contextual-documents-search

3. Richten Sie eine virtuelle Umgebung ein (optional, aber empfohlen):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. Abhängigkeiten installieren:

   pip install -r requirements.txt

5. Richten Sie Ihre Umgebungsvariablen ein. Erstellen Sie eine .env -Datei im Projektroot und fügen Sie Ihren OpenAI -API -Schlüssel hinzu:

   OPENAI_API_KEY = your_openai_api_key

Verwendung

Initialisierungsdatenbank initialisieren und abfragen

1. Erstellen Sie ein Verzeichnis von .txt -Dateien, die Sie durchsuchen möchten, und platzieren Sie sie im Ordner ./resumes oder geben Sie ein anderes Verzeichnis im Code an.

2. Instantieren Sie in Ihrem Hauptskript die VectorDBHandler -Klasse und rufen Sie load_or_create_db() auf, um den Vektorspeicher zu initialisieren.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )