Context based document search

การค้นหาเอกสารตามบริบท

โครงการนี้มีระบบสำหรับการค้นหาตามบริบทระหว่างเอกสารที่เก็บไว้ในฐานข้อมูลเวกเตอร์ การใช้โมเดลการฝังของ OpenAI และ Chroma เครื่องมือนี้ช่วยให้คุณค้นหาได้อย่างมีประสิทธิภาพผ่านการรวบรวมเอกสารข้อความและดึงผลลัพธ์ที่เกี่ยวข้องมากที่สุดตามแบบสอบถามที่กำหนด

คุณสมบัติ

• การสร้างการฝังเวกเตอร์อัตโนมัติสำหรับเอกสารที่เก็บไว้ในไดเรกทอรีที่ระบุ
• ฟังก์ชั่นการค้นหาที่ใช้งานง่ายซึ่งค้นหาเอกสารที่เกี่ยวข้องกับบริบทมากที่สุด
• การจัดเก็บเวกเตอร์แบบถาวรโดยใช้ Chroma ช่วยให้สามารถโหลดและอัปเดตฐานข้อมูลได้อย่างราบรื่น

ข้อกำหนดเบื้องต้น

• Python 3.7 หรือสูงกว่า

• คีย์ Openai API

• ติดตั้งแพ็คเกจที่ต้องการโดยใช้งาน:

  pip install -r requirements.txt

  การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/your-username/contextual-documents-search.git

2. นำทางไปยังไดเรกทอรีโครงการ:

    cd contextual-documents-search

3. ตั้งค่าสภาพแวดล้อมเสมือนจริง (เป็นทางเลือก แต่แนะนำ):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. ติดตั้งการพึ่งพา:

   pip install -r requirements.txt

5. ตั้งค่าตัวแปรสภาพแวดล้อมของคุณ สร้างไฟล์. env ในรูทโครงการและเพิ่มคีย์ OpenAI API ของคุณ:

   OPENAI_API_KEY = your_openai_api_key

การใช้งาน

การเริ่มต้นและสอบถามฐานข้อมูลเวกเตอร์

1. เตรียมไดเรกทอรีของไฟล์ .txt ที่คุณต้องการค้นหาและวางไว้ในโฟลเดอร์ ./resumes หรือระบุไดเรกทอรีอื่นในรหัส

2. ในสคริปต์หลักของคุณอินสแตนซ์คลาส VectorDBHandler และ CALL load_or_create_db() เพื่อเริ่มต้นร้านค้าเวกเตอร์

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )