efficient document search and summarization engine

محرك بحث وتلخيص فعال

ملخص

يعد محرك البحث وتلخيص المستندات الفعال أداة قوية مصممة لتعزيز كفاءة البحث والوضوح من خلال دمج نماذج اللغة الكبيرة المتقدمة (LLMS) مثل ChatGPT و LLAMA. يستفيد هذا المشروع من التقنيات المتطورة لتوفير تجربة بحث وتلخيص سلسة وفعالة.

سمات

• تكامل LLM : يستخدم LLMs الرائدة لتلخيص نتائج البحوث ، وتعزيز كفاءة ووضوح ناتج البحث.
• Restfl API : تقدم واجهة برمجة تطبيقات قوية لاسترجاع المستندات والاستعلام ، مما يضمن نتائج بحث محسنة ودقيقة.
• قواعد بيانات المتجهات : تنفذ قواعد بيانات المتجهات للتخزين والاسترجاع الفعال ، وتحسين أداء البحث.
• الخوارزميات المتقدمة : يطبق تشابه جيب التمام وتجميع K-mean لضمان استخراج النص الدقيق ومطابقة الاستعلام.

التقنيات المستخدمة

• بيثون : لغة البرمجة الأساسية للتنمية.
• Fastapi : إطار عمل لبناء واجهة برمجة التطبيقات المريحة.
• Langchain : أدوات لدمج نماذج اللغة.
• MongoDB : قاعدة بيانات لتخزين المستندات والبيانات الوصفية.
• Pinecone : قاعدة بيانات المتجهات لتخزين الاستعلام المحسّن واسترجاعه.

تثبيت

لإعداد المشروع محليًا ، اتبع هذه الخطوات:

1. استنساخ المستودع :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. إنشاء بيئة افتراضية :

   python -m venv venv
   source venv/bin/activate

3. تثبيت التبعيات :

   pip install -r requirements.txt

4. إعداد متغيرات البيئة : قم بإنشاء ملف .env في دليل الجذر وأضف إعدادات التكوين الخاصة بك.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. تشغيل التطبيق :

   uvicorn main:app --reload

الاستخدام

وثائق API

يمكن الوصول إلى وثائق API ومزيد من التفاصيل باستخدام Swagger. بمجرد تشغيل التطبيق ، انتقل إلى http://localhost:8000/docs لاستكشاف ونقاط نهاية API.