Context based document search

البحث عن المستندات السياقية

يوفر هذا المشروع نظامًا لأداء البحث المستند إلى السياق عبر المستندات المخزنة في قاعدة بيانات المتجهات. باستخدام نماذج تضمين Openai و Chroma ، تتيح لك هذه الأداة البحث بكفاءة من خلال مجموعة من المستندات النصية واسترداد النتائج الأكثر صلة بناءً على استعلام معين.

سمات

• توليد التلقائي التلقائي للوثائق المخزنة في دليل محدد.
• وظائف البحث سهلة الاستخدام التي تجد المستندات الأكثر صلة بالسياق.
• تخزين المتجه المستمر باستخدام Chroma ، مما يتيح تحميل وتحديث سلس لقاعدة البيانات.

المتطلبات الأساسية

• بيثون 3.7 أو أعلى

• مفتاح API Openai

• تثبيت الحزم المطلوبة عن طريق التشغيل:

  pip install -r requirements.txt

  تثبيت

1. استنساخ المستودع:

   git clone https://github.com/your-username/contextual-documents-search.git

2. انتقل إلى دليل المشروع:

    cd contextual-documents-search

3. إعداد بيئة افتراضية (اختياري ولكن موصى بها):

   python -m venv venv
   source venv/bin/activate   # On Windows: venvScriptsactivate

4. تثبيت التبعيات:

   pip install -r requirements.txt

5. قم بإعداد متغيرات البيئة الخاصة بك. قم بإنشاء ملف .env في جذر المشروع وأضف مفتاح API Openai:

   OPENAI_API_KEY = your_openai_api_key

الاستخدام

تهيئة قاعدة بيانات المتجهات والاستعلام عنها

1. قم بإعداد دليل من ملفات .txt التي تريد البحث عنها ووضعها في مجلد ./resumes أو تحديد دليل مختلف في الرمز.

2. في البرنامج النصي الرئيسي الخاص بك ، قم بتثبيت فئة VectorDBHandler و Call load_or_create_db() لتهيئة متجر المتجه.

    from dotenv import load_dotenv
   from vector_db_handler import VectorDBHandler
   
   # Load environment variables
   load_dotenv ()
   
   # Set up directory paths and collection name
   files_directory = "./resumes"
   persist_directory = "./vector_db"
   collection_name = "resumes_collection"
   
   # Initialize the vector database handler
   vector_db_handler = VectorDBHandler ( files_directory , persist_directory , collection_name )
   
   # Load or create the vector store database
   vector_db_handler . load_or_create_db ()
   
   # Define the query for the search
   query = "I am looking for a software engineer with OpenAI hard skill."
   docs = vector_db_handler . query_vector_store ( query )
   
   # Output the top result
   if docs :
       print ( "Top matching document:" )
       print ( docs [ 0 ]. page_content )
   else :
       print ( "No matching documents found." )