خط الأنابيب (الجيل المعزز للاسترجاع)
- لقد قمت ببناء خط أنابيب خرقة لعرض كيف يمكننا زيادة المعرفة ببيانات إضافية.
الوصف المرئي لخط أنابيب الخرقة
وصف
- RAG هي تقنية لزيادة معرفة LLM مع بيانات إضافية.
- يمكن أن تسبب LLMs في مواضيع واسعة النطاق ، لكن معرفتها تقتصر على البيانات العامة حتى نقطة محددة تم تدريبها عليها.
- إذا كنت ترغب في إنشاء تطبيقات منظمة العفو الدولية التي يمكن أن تفكر في البيانات الخاصة أو البيانات التي تم تقديمها بعد تاريخ قطع النموذج ، فأنت بحاجة إلى زيادة معرفة النموذج بالمعلومات المحددة التي يحتاجها.
- تُعرف عملية جلب المعلومات المناسبة وإدخالها في موجه النموذج باسم الجيل المعزز للاسترجاع (RAG).
المكتبات المستخدمة
- Langchain == 0.1.20
- Langchain-Community == 0.0.38
- BS4 == 0.0.2
- pypdf == 4.2.0
- chromadb == 0.5.0
تثبيت
- المتطلبات الأساسية
- استنساخ المستودع:
git clone https://github.com/NebeyouMusie/RAG-Pipeline.git - إنشاء وتفعيل البيئة الافتراضية (موصى بها)
-
python -m venv venv -
source venv/bin/activate
- انتقل إلى
cd ./RAG-Pipeline - تثبيت المكتبات:
pip install -r requirements.txt - افتح وتشغيل جميع الخلايا في دفتر الملاحظات
rag_pipeline.ipynb - أو يمكنك تنزيل المستندات الموجودة في دليل
files و rag_pipeline.ipynb من دليل notebook في المستودع ، وتحميل هذه الملفات والكمبيوتر rag_pipeline.ipynb
تعاون
شكر وتقدير
اتصال
