DocSense

Docsense - مقارنة PDF الذكية وتحليلها

يوفر هذا المشروع تطبيق ويب لمقارنة مستندات PDF باستخدام عمليات مسح تشابه جيب التمام المختلفة وواجهة chatbot للتفاعل مع PDF المعالج. تم تصميم التطبيق باستخدام STREMELIT و FASTAPI و LANGCHAIN.

سمات

• مقارنة PDF : قارن اثنين من PDF باستخدام مستويات مختلفة من فحوصات تشابه جيب التمام.
  • فحص تشابه جيب التمام على مستوى المستند
  • فحص تشابه جيب التمام على مستوى الجملة
  • مسح جيب التمام على مستوى الجملة مسبقا
• chatbot : تتفاعل مع محتوى PDFs باستخدام chatbot مدعوم من طرز LLM مخصصة (Llama 3 و Google Gemini).

تثبيت

1. استنساخ المستودع :

   git clone https://github.com/lakshya324/DocSense.git
   cd DocSense

2. تثبيت الحزم المطلوبة :

   pip install -r requirements.txt

3. إعداد متغيرات البيئة : قم بإنشاء ملف .env في دليل الجذر وأضف متغيرات البيئة الخاصة بك:

    GOOGLE_API_KEY=your-google-api-key
   DEPLOYED=False
   

4. إعداد Llama 3 و Ollama : تثبيت Llama 3 (8b) و Ollama عن طريق تشغيل الأمر التالي:

   ollama run llama3

الاستخدام

1. قم بتشغيل تطبيق SPEREMLIT :

   streamlit run app.py

2. انتقل إلى الصفحة الرئيسية :

   • تحميل اثنين من PDFs للمقارنة.
   • حدد نوع المسح (على مستوى المستند ، على مستوى الجملة ، على مستوى الجملة معالجة مسبقًا).
   • اختر نوع التضمين (Count Vectorizer ، TF-IDF Vectorizer ، All-Minilm-L6-V2).
   • انقر فوق "إرسال" لمقارنة PDFs والحصول على درجة التشابه.

3. انتقل إلى صفحة chatbot :

   • قم بتحميل PDFs في قاعدة بيانات المتجه.
   • تتفاعل مع PDFs باستخدام chatbot عن طريق تحديد نموذج LLM وإدخال استعلامك.

هيكل المشروع

 ├── app.py                     # Main Streamlit application
├── compare.py                 # PDF comparison logic
├── pdf_extractor.py           # PDF text extraction logic
├── text_preprocessing.py      # Pre-processing of PDF text
├── LLM
│   ├── gemini.py              # Google Gemini LLM integration
│   ├── llama3.py              # LLAMA 3 LLM integration (OLLAMA)
│   ├── prompt.py              # Prompt generation logic
├── embeddings
│   ├── CountVectorizer.py     # Count Vectorization logic
│   ├── TfidfVectorizer.py     # TF-IDF Vectorization logic
│   ├── all_MiniLM_L6_v2.py    # All-MiniLM-L6-v2 Vectorization logic
├── result.py                  # Chatbot result processing
├── requirements.txt           # Required Python packages
└── .env                       # Environment variables (not included in the repository)

رخصة

تم ترخيص هذا المشروع بموجب ترخيص معهد ماساتشوستس للتكنولوجيا - راجع ملف الترخيص للحصول على التفاصيل.

شكر وتقدير

• التدفق
• ميتا لاما 3
• أولاما
• chroma vector db
• لانجشين