Context based document search

上下文文檔搜索

該項目提供了一個系統，用於跨矢量數據庫中存儲的文檔執行基於上下文的搜索。使用OpenAI的嵌入模型和色度，此工具可讓您有效地通過文本文檔的集合進行搜索，並根據給定的查詢檢索最相關的結果。

特徵

• 自動矢量嵌入為存儲在指定目錄中的文檔的生成。
• 易於使用的搜索功能找到最相關的文檔。
• 使用Chroma持續的矢量存儲，從而允許數據庫的無縫加載和更新。

先決條件

• Python 3.7或更高

• OpenAI API鍵

• 通過運行安裝所需的軟件包：

  pip install -r requirements.txt

  安裝

1. 克隆存儲庫：

   git clone https://github.com/your-username/contextual-documents-search.git

2. 導航到項目目錄：

    cd contextual-documents-search

3. 設置虛擬環境（可選但建議）：

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. 安裝依賴項：

   pip install -r requirements.txt

5. 設置您的環境變量。在項目root中創建.ENV文件，並添加您的OpenAI API密鑰：

   OPENAI_API_KEY = your_openai_api_key

用法

初始化和查詢矢量數據庫

1. 準備要搜索的.txt文件的目錄，並將其放置在./resumes文件夾中或指定代碼中的其他目錄。

2. 在您的主腳本中，實例化VectorDBHandler類，並調用load_or_create_db()以初始化矢量存儲。

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )