Context based document search

上下文文档搜索

该项目提供了一个系统，用于跨矢量数据库中存储的文档执行基于上下文的搜索。使用OpenAI的嵌入模型和色度，此工具可让您有效地通过文本文档的集合进行搜索，并根据给定的查询检索最相关的结果。

特征

• 自动矢量嵌入为存储在指定目录中的文档的生成。
• 易于使用的搜索功能找到最相关的文档。
• 使用Chroma持续的矢量存储，从而允许数据库的无缝加载和更新。

先决条件

• Python 3.7或更高

• OpenAI API键

• 通过运行安装所需的软件包：

  pip install -r requirements.txt

  安装

1. 克隆存储库：

   git clone https://github.com/your-username/contextual-documents-search.git

2. 导航到项目目录：

    cd contextual-documents-search

3. 设置虚拟环境（可选但建议）：

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. 安装依赖项：

   pip install -r requirements.txt

5. 设置您的环境变量。在项目root中创建.ENV文件，并添加您的OpenAI API密钥：

   OPENAI_API_KEY = your_openai_api_key

用法

初始化和查询矢量数据库

1. 准备要搜索的.txt文件的目录，并将其放置在./resumes文件夹中或指定代码中的其他目录。

2. 在您的主脚本中，实例化VectorDBHandler类，并调用load_or_create_db()以初始化矢量存储。

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )