Retrieval Augmented Generation Engine with LangChain and Streamlit

محرك الجيل المعزز للاسترجاع باستخدام Langchain ، Streamlit ، و Pinecone

Access Application على النظام الأساسي السحابي SPERTELIT

ملخص

يعد المحرك المعزز للاسترجاع (RAG) أداة قوية لاسترجاع المستندات ، والتلخيص ، وإجابات الأسئلة التفاعلية. يستخدم هذا المشروع Langchain و STREMLIT و PINECONE لتوفير تطبيق ويب سلس للمستخدمين لأداء هذه المهام. باستخدام RAG ، يمكنك بسهولة تحميل مستندات PDF متعددة ، وإنشاء تضمينات متجه للنص داخل هذه المستندات ، وأداء تفاعلات المحادثة مع المستندات. يتم تذكر تاريخ الدردشة أيضًا لتجربة أكثر تفاعلية.

سمات

• تطبيق Web Streamleit : تم تصميم المشروع باستخدام STEMBLIT ، مما يوفر واجهة ويب بديهية وتفاعلية للمستخدمين.
• حقول الإدخال : يمكن للمستخدمين إدخال بيانات الاعتماد الأساسية مثل مفتاح API Openai ومفتاح Pinecone API من خلال حقول الإدخال المخصصة.
• تحميل المستند : يمكن للمستخدمين تحميل ملفات PDF متعددة ، والتي تتم بعد ذلك معالجتها لمزيد من التحليل.
• تقسيم المستندات : يتم تقسيم ملفات PDF التي تم تحميلها إلى أجزاء نصية أصغر ، مما يضمن التوافق مع النماذج ذات الحدود الرمزية.
• تضمينات المتجهات : يتم تحويل أجزاء النص إلى تضمينات متجه ، مما يسهل أداء مهام الاسترجاع والأسئلة.
• تخزين المتجه المرن : يمكنك اختيار تخزين تضمينات المتجهات إما في Pinecone أو متجر ناقلات محلي ، مما يوفر المرونة والتحكم.
• المحادثات التفاعلية : يمكن للمستخدمين المشاركة في محادثات تفاعلية مع المستندات ، وطرح الأسئلة وتلقي الإجابات. يتم الحفاظ على تاريخ الدردشة للرجوع إليه.

المتطلبات الأساسية

قبل تشغيل المشروع ، تأكد من أن لديك المتطلبات الأساسية التالية:

• بيثون 3.7+
• لانجشين
• التدفق
• كوز الصنوبر
• مفتاح API Openai
• وثائق PDF للتحميل

الاستخدام

1. استنساخ المستودع إلى جهازك المحلي:

   git clone https://github.com/mirabdullahyaser/Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit.git
   cd Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit

2. تثبيت التبعيات المطلوبة عن طريق التشغيل:

   pip install -r requirements.txt

3. قم بتشغيل تطبيق SPEREMLIT:

   streamlit run src/rag_engine.py

4. الوصول إلى التطبيق عن طريق فتح متصفح ويب والتنقل إلى عنوان URL المقدم.

5. أدخل مفتاح API Openai الخاص بك ، مفتاح Pinecone API ، بيئة Pinecone ، واسم فهرس Pinecone في الحقول المعنية. يمكنك تزويدهم إما في الشريط الجانبي للتطبيق أو وضعها في ملف Secrets.toml في دليل .streamlit

6. قم بتحميل مستندات PDF التي تريد تحليلها.

7. انقر فوق الزر "إرسال المستندات" لمعالجة المستندات وإنشاء تضمينات المتجهات.

8. الانخراط في محادثات تفاعلية مع المستندات من خلال كتابة أسئلتك في مربع إدخال الدردشة.

المساهمين

مير عبد الله ياسر

اتصال

إذا كان لديك أي أسئلة أو اقتراحات أو ترغب في مناقشة هذا المشروع ، فلا تتردد في الاتصال بي:

• بريد إلكتروني
• LinkedIn

أنا منفتح على التعاون وسأكون سعيدًا بالاتصال!