QA مع LLM و RAG (جيل معزز الاسترجاع)
هذا المشروع عبارة عن تطبيق للإجابة على أسئلة مع طرز لغة كبيرة (LLMS) وخدمة Amazon OpenSearch بدون خادم. يقوم تطبيق باستخدام نهج RAG (الجيل المعزز للاسترجاع) إلى استرداد المعلومات الأكثر صلة بطلب المستخدم من قاعدة المعرفة للمؤسسة أو المحتوى ، ويحددها كسياق إلى جانب طلب المستخدم كمطالبة ، ثم يرسلها إلى LLM للحصول على استجابة GENAI.
LLMs لها قيود حول عدد الكلمات القصوى لمطالبة الإدخال ، وبالتالي فإن اختيار المقاطع المناسبة بين الآلاف أو الملايين من المستندات في المؤسسة ، له تأثير مباشر على دقة LLM.
في هذا المشروع ، يتم استخدام خدمة Amazon OpenSearch بدون خادم لقاعدة المعرفة.
العمارة العامة مثل هذا:
سير العمل العام
- نشر مداخن CDK (لمزيد من المعلومات ، انظر هنا).
- نقطة نهاية Sagemaker لتوليد النص.
- نقطة نهاية Sagemaker لتوليد التضمينات.
- Amazon OpenSearch Serverless لتخزين التضمينات.
- افتح jupyterlab في Sagemaker Studio ثم افتح محطة جديدة.
- قم بتشغيل الأوامر التالية على المحطة لاستنساخ مستودع الرمز لهذا المشروع:
git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
- افتح
data_ingestion_to_opensearch_serverless.ipynb دفتر وقم بتشغيله. (لمزيد من المعلومات ، انظر هنا) - تشغيل تطبيق SPERTELIT. (لمزيد من المعلومات ، انظر هنا)
مراجع
- قم ببناء سؤال قوي للإجابة على روبوت مع Amazon Sagemaker و Amazon Opensearch Service و StreamLit و Langchain (2023-05-25)
- استخدم نماذج مؤسسة الملكية من Amazon Sagemaker Jumpstart في Amazon Sagemaker Studio (2023-06-27)
- بناء تطبيقات STIPLELIT في Amazon Sagemaker Studio (2023-04-11)
- قم ببناء تطبيقات AI عالية الدقة بسرعة على بيانات المؤسسة باستخدام أمازون كيندرا ، لانجشين ، ونماذج اللغة الكبيرة (2023-05-03)
- (Github) عينات Amazon Kendra Retriver
- الإجابة على الأسئلة باستخدام جيل معزز الاسترجاع مع نماذج الأساس في Amazon Sagemaker Jumpstart (2023-05-02)
- تم شرح إمكانات قاعدة بيانات المتجهات الخاصة بخدمة Amazon OpenSearch
- Langchain - إطار لتطوير التطبيقات التي تعمل بنماذج اللغة.
- SPEREMLIT - طريقة أسرع لبناء ومشاركة تطبيقات البيانات
- تحسين أهمية البحث مع ML في ورشة عمل Amazon OpenSearch Service - الوحدة 7. الجيل المعزز للاسترجاع
- Rag-With-Amazon-Kendra-Assout Assing Application مع نماذج لغة كبيرة (LLMS) و Amazon Kendra
- rag-with-amazon-postgresql-using-pgvector-Question الإجابة على التطبيق مع نماذج لغة كبيرة (LLMS) و Amazon Aurora postgresql
- Rag-with-Amazon-Opensearch-إجابة أسئلة التطبيق مع نماذج لغة كبيرة (LLMS) وخدمة Amazon OpenSearch مع Langchain
- Rag-with-Haystack-Amazon-Opensearch-Assection Repling Application مع طرز لغة كبيرة (LLMS) وخدمة Amazon OpenSearch مع Haystack
حماية
انظر المساهمة لمزيد من المعلومات.
رخصة
هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.
