Context based document search

Pesquisa de documentos contextuais

Este projeto fornece um sistema para realizar pesquisas baseadas em contexto em documentos armazenados em um banco de dados vetorial. Usando os modelos de incorporação e o Chroma da OpenAI, essa ferramenta permite pesquisar com eficiência através de uma coleção de documentos de texto e recuperar os resultados mais relevantes com base em uma determinada consulta.

Características

• Geração de incorporação automática de vetor para documentos armazenados em um diretório especificado.
• Funcionalidade de pesquisa fácil de usar que encontra os documentos mais relevantes contextualmente.
• Armazenamento vetorial persistente usando o Chroma, permitindo carregamento contínuo e atualização do banco de dados.

Pré -requisitos

• Python 3.7 ou superior

• Chave da API OpenAI

• Instale os pacotes necessários em execução:

  pip install -r requirements.txt

  Instalação

1. Clone o repositório:

   git clone https://github.com/your-username/contextual-documents-search.git

2. Navegue até o diretório do projeto:

    cd contextual-documents-search

3. Configure um ambiente virtual (opcional, mas recomendado):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. Instale dependências:

   pip install -r requirements.txt

5. Configure suas variáveis ​​de ambiente. Crie um arquivo .env na raiz do projeto e adicione sua chave de API do OpenAI:

   OPENAI_API_KEY = your_openai_api_key

Uso

Inicializando e consultando o banco de dados vetorial

1. Prepare um diretório de arquivos .txt que você deseja pesquisar e coloque -os na pasta ./resumes ou especifique um diretório diferente no código.

2. No seu script principal, instancie a classe VectorDBHandler e ligue para load_or_create_db() para inicializar o loja de vetores.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )