chat_with_your_docs

عنوان	الرموز التعبيرية	colorfrom	كولورتو	SDK	sdk_version	app_file	مثبت	رخصة
الدردشة مع مستنداتك		أزرق	رمادي	غراد	4.41.0	app.py	خطأ شنيع	معهد ماساتشوستس للتكنولوجيا

الدردشة مع مستنداتك

مقدمة

---

تطبيق Chatwithyourdocs الدردشة هو تطبيق Python يتيح لك الدردشة مع تنسيقات مستندات متعددة مثل PDF ، صفحات الويب ومقاطع فيديو YouTube. يمكنك طرح أسئلة حول ملفات PDF باستخدام اللغة الطبيعية ، وسيقدم التطبيق ردود ذات صلة بناءً على محتوى المستندات. يستخدم هذا التطبيق نموذج لغة لإنشاء إجابات دقيقة لاستفساراتك. يرجى ملاحظة أن التطبيق لن يرد فقط على الأسئلة المتعلقة بالمستندات المحملة.

كيف تعمل

---

يتبع التطبيق هذه الخطوات لتوفير ردود على أسئلتك:

1. تحميل DOC: يقرأ التطبيق أنواع مستندات متعددة ويستخلص محتوى النص الخاص بهم.

2. صقل النص: ينقسم النص المستخرج إلى أجزاء أصغر يمكن معالجتها بفعالية.

3. نموذج اللغة: يستخدم التطبيق نموذج لغة لإنشاء تمثيلات متجه (التضمين) لقطع النص.

4. مطابقة التشابه: عندما تطرح سؤالاً ، يقارنه التطبيق بقطع النص ويحدد أكثرها تشابهًا بشكل دلالي.

5. توليد الاستجابة: يتم تمرير القطع المحددة إلى نموذج اللغة ، الذي يولد استجابة بناءً على المحتوى ذي الصلة للمستندات.

التبعيات والتركيب

---

لتثبيت الدردشة مع تطبيق المستندات الخاصة بك ، يرجى اتباع هذه الخطوات:

1. تحميل مكتبة Ollama

    curl https://ollama.ai/install.sh | sh
   

2. اسحب نماذج الدردشة التي سنستخدمها ، في هذه الحالة ، سنستخدم LLAMA2 و MISTRAL و GEMMA

    ollama pull llama2
   

    ollama pull mistral
   

    ollama pull gemma
   

3. إنشاء بيئة جديدة مع Python 3.9 وتفعيلها ، في هذه الحالة سوف نستخدم كوندا

    conda create -n cwd python=3.9
   

    conda activate cwd
   

4. استنساخ المستودع إلى جهازك المحلي.

    git clone https://github.com/jorge-armando-navarro-flores/chat_with_your_docs.git
   

    cd chat_with_your_docs
   

5. تثبيت التبعيات المطلوبة عن طريق تشغيل الأمر التالي:

    pip install -r requirements.txt
   

6. تثبيت FFMPEG لمقاطع فيديو YouTube:

    sudo apt-get install ffmpeg
   

الاستخدام

---

لاستخدام الدردشة مع تطبيق المستندات الخاصة بك ، اتبع هذه الخطوات:

1. قم بتشغيل ملف main.py باستخدام CLI STREMELIT. تنفيذ الأمر التالي:

    python3 main.py
   

2. سيتم تشغيل التطبيق في متصفح الويب الافتراضي الخاص بك ، مع عرض واجهة المستخدم.

بنيان

الفصول:

• LLM: هذه الفئة المجردة بمثابة مخطط لتطبيقات LLM المختلفة. يحتوي على فئات فرعية مثل OllamaModel و OpenAIModel و HFModel التي تتعامل مع مقدمي خدمات LLM محددة (Ollama و Openai و Lugging Face).
• مستندات: تدير هذه الفئة تحميل المستندات من مصادر مختلفة مثل PDFs وصفحات الويب ومقاطع فيديو YouTube.
• VectorStore: تنشئ هذه الفئة تمثيل متجه للمستندات باستخدام تضمينات LLM لاسترجاع كفاءة.
• السلسلة: يحدد هذه الفئة خط أنابيب المعالجة لـ chatbot. يمكن أن تكون سلسلة بسيطة للإجابة على الأسئلة الأساسية أو سلسلة استرجاع تبحث عن المستندات بناءً على تاريخ المحادثة.
• chatbot: يعالج هذا الفصل تفاعل المستخدم ، ويحافظ على سجل المحادثة ، ويستدعي طريقة السلسلة المناسبة لإنشاء ردود.
• chatbotcontroller: هذه الفئة هي الواجهة الرئيسية للمستخدم. يسمح بإعداد نموذج LLM ومصدر المستند وخيارات الاسترجاع. كما أنه يتعامل مع استعلامات المستخدم ويتفاعل مع مثيل chatbot.

الوظيفة:

1. إنشاء:

   • يحدد المستخدم مزود LLM (Ollama ، Openai ، أو Huggingface) والنموذج من قائمة منسدلة. اختياريا ، قد تكون هناك حاجة إلى مفتاح API لبعض مقدمي الخدمات.
   • يمكن للمستخدم اختيار إضافة مستندات (PDF أو عنوان URL لصفحة الويب أو عنوان URL لفيديو YouTube) لمهام الاسترجاع.

2. يعالج:

   • استنادًا إلى LLM والمستندات المختارة (إن وجدت) ، تقوم وحدة التحكم بتكوين سلسلة المعالجة.
   • يتم استخدام سلسلة بسيطة للإجابة على الأسئلة الأساسية دون استرجاع المستند.
   • تتضمن سلسلة الاسترجاع:
     • إنشاء تمثيل متجه للوثائق باستخدام تضمينات LLM.
     • تحديد المطالبات لإنشاء استفسارات البحث بناءً على تاريخ المحادثة.
     • استرداد المستندات ذات الصلة بناءً على الاستعلامات التي تم إنشاؤها.
     • باستخدام المستندات التي تم استردادها للإجابة على سؤال المستخدم.

3. تفاعل:

   • يقوم المستخدم بتكوين أسئلتهم في واجهة الدردشة.
   • تقوم وحدة التحكم باستدعاء طريقة predict في chatbot ، وتمرير استعلام المستخدم وتاريخ المحادثة (إذا تم تمكين الاسترجاع).
   • يسترجع chatbot الاستجابة المناسبة بناءً على تكوين السلسلة المختار.

ميزات إضافية:

• تتضمن الواجهة أزرارًا لتاريخ المحادثة "Undo" و "Clear".

بشكل عام ، يوضح هذا الرمز بنية جيدة التنظيم لدردشة يمكنها الاستفادة من LLMs المختلفة ودمج استرداد المستندات لتحسين القدرات.