Context based document search

Dokumen Kontekstual Pencarian

Proyek ini menyediakan sistem untuk melakukan pencarian berbasis konteks di seluruh dokumen yang disimpan dalam database vektor. Menggunakan model embedding OpenAI dan Chroma, alat ini memungkinkan Anda untuk mencari secara efisien melalui kumpulan dokumen teks dan mengambil hasil yang paling relevan berdasarkan kueri yang diberikan.

Fitur

• Generasi embedding vektor otomatis untuk dokumen yang disimpan dalam direktori tertentu.
• Fungsi pencarian yang mudah digunakan yang menemukan dokumen yang paling relevan secara kontekstual.
• Penyimpanan vektor persisten menggunakan chroma, memungkinkan untuk memuat dan memperbarui database yang mulus.

Prasyarat

• Python 3.7 atau lebih tinggi

• Kunci API Openai

• Instal paket yang diperlukan dengan menjalankan:

  pip install -r requirements.txt

  Instalasi

1. Klon Repositori:

   git clone https://github.com/your-username/contextual-documents-search.git

2. Arahkan ke Direktori Proyek:

    cd contextual-documents-search

3. Siapkan lingkungan virtual (opsional tetapi direkomendasikan):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. Instal dependensi:

   pip install -r requirements.txt

5. Siapkan variabel lingkungan Anda. Buat file .env di root proyek dan tambahkan tombol API OpenAI Anda:

   OPENAI_API_KEY = your_openai_api_key

Penggunaan

Menginisialisasi dan Meminta Basis Data Vektor

1. Siapkan direktori file .txt yang ingin Anda cari dan letakkan di folder ./resumes atau tentukan direktori yang berbeda dalam kode.

2. Dalam skrip utama Anda, instantiate kelas VectorDBHandler dan hubungi load_or_create_db() untuk menginisialisasi toko vektor.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )