Context based document search

Контекстуальные документы Поиск

Этот проект предоставляет систему для выполнения контекстного поиска в документах, хранящихся в векторной базе данных. Используя модели встроения OpenAI и Chroma, этот инструмент позволяет эффективно искать в сборе текстовых документов и получить наиболее важные результаты на основе данного запроса.

Функции

• Автоматическое векторное встроение генерации для документов, хранящихся в указанном каталоге.
• Простая в использовании функциональность поиска, которая находит наиболее релевантные документы.
• Постоянное векторное хранение с использованием Chroma, позволяя обеспечить бесшовную загрузку и обновление базы данных.

Предварительные условия

• Python 3.7 или выше

• OpenAI API -ключ

• Установите необходимые пакеты, работая:

  pip install -r requirements.txt

  Установка

1. Клонировать репозиторий:

   git clone https://github.com/your-username/contextual-documents-search.git

2. Перейдите к каталогу проекта:

    cd contextual-documents-search

3. Настройте виртуальную среду (необязательно, но рекомендуется):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. Установить зависимости:

   pip install -r requirements.txt

5. Установите переменные среды. Создайте файл .env в корне проекта и добавьте свой ключ API OpenAI:

   OPENAI_API_KEY = your_openai_api_key

Использование

Инициализация и запрос векторной базы данных

1. Подготовьте каталог файлов .txt , которые вы хотите найти, и поместите их в папку ./resumes или укажите другой каталог в коде.

2. В вашем основном сценарии создайте экземпляр класса VectorDBHandler и вызовите load_or_create_db() для инициализации векторного хранилища.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )