advanced rag router with amazon bedrock

قم ببناء مساعد مقرّب على جهاز التوجيه المتقدم مع Strock Amazon Bedrock

يحتوي هذا المستودع على عينات التعليمات البرمجية التي ستتيح للمشاركين تعلم كيفية استخدام الهندسة المعمارية القائمة على الجيل المعزز للاسترجاع مع Amazon Bedrock و Amazon OpenSearch Serverless (AOSS) لإنشاء مساعد آمن بسرعة يستخدم أحدث المعلومات للتحدث مع المستخدمين. سيتعلم المشاركون أيضًا كيف سيستخدم هذا المساعد استرجاع المعلومات الموجهة للحوار للرد على المستخدمين.

ملخص

Amazon Bedrock هي خدمة مُدارة بالكامل توفر مجموعة من نماذج الأساس عالية الأداء (FMS) من قيادة شركات AI التي يمكن الوصول إليها من خلال واجهة برمجة تطبيقات واحدة ، إلى جانب مجموعة واسعة من القدرات التي تحتاجها لبناء تطبيقات AI التوليدية ، وتبسيط التطوير مع الحفاظ على الخصوصية والأمان.

نماذج اللغة الكبيرة (LLMS) هي نوع من نموذج الأساس الذي يمكن أن يأخذ langauge الطبيعي كمدخلات ، مع القدرة على معالجة وفهمها ، وإنتاج لغة طبيعية كمخرجات. يمكن لـ LLMS أيضًا أداء مهام مثل التصنيف والتلخيص والبسيط والتعرف على الكيان ، إلخ.

عادةً ما يتم تدريب LLMs على الإنترنت مع البيانات المتوفرة حتى نقطة الزمن. نتيجة لذلك ، لن يكون لدى LLMS معرفة بالعالم بعد ذلك التاريخ. بالإضافة إلى ذلك ، يتم تدريب LLMs على شركة المجال العامة للغاية ، مما يجعلها أقل فعالية في المهام الخاصة بالمجال. وبعد ذلك ، تميل LLMs إلى الهلوسة حيث يولد النموذج نصًا غير صحيح أو غير منطقي أو غير حقيقي. باستخدام آلية توليد زيادة الاسترجاع (RAG) يمكن أن يساعد في تخفيف كل هذه المشكلات. تتضمن بنية RAG استرداد البيانات التي تتطابق بشكل وثيق للنص في موجه للمستخدم ، من مصدر بيانات خارجي ، واستخدامه لزيادة المطالبة قبل إرسالها إلى LLM. سيوفر هذا التعزيز المطري السياق الذي يمكن أن تستخدمه LLM للرد على المطالبة.

عندما يكون هناك مواقف بيانات Mulitple ، هناك حاجة لتوجيه طلب Retreival إلى مصدر البيانات المناسب قبل إجراء الاسترجاع الفعلي. هذا هو نمط جهاز توجيه خرقة.

يحتوي هذا المستودع على رمز سيمشي بك خلال عملية بناء مساعد متقدم قائم على جهاز توجيه RAG باستخدام نموذج لغة كبير (LLM) المستضاف على أساس الأمازون Bedrock واستخدام قواعد المعرفة لأمازون Bedrock لتخزينها ، واستعادة البيانات من خلال البحث الدلالي. سيتم استخدام Amazon OpenSearch Serverless كفهرس المتجه.

للبدء

1. اختر حساب AWS لاستخدامه والتأكد من إنشاء جميع الموارد في هذا الحساب.
2. حدد منطقة AWS التي تحتوي على صخور Amazon مع نماذج نصية من Titan Claude 3 و Titan G1.
3. في تلك المنطقة ، قم بإنشاء دلو Amazon S3 موجود من اختيارك. تأكد من أن هذا الدلو يمكن قراءته بواسطة AWS CloudFormation.
4. قم بإنشاء ملف Lambda Layer المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip باستخدام الإجراء التالي وتحميله على نفس دلو Amazon S3 كما في الخطوة 3.
   • على Windows 10 أو أعلى:
     1. تأكد من تثبيت Python 3.12 و PIP وتعيينه في متغير مسار المستخدم.
     2. قم بتنزيل 7-ZIP وتثبيته في C:/Program Files/7-Zip/ .
     3. افتح موجه أوامر Windows.
     4. إنشاء دليل جديد وقرص cd فيه.
     5. قم بتشغيل lambda_layer_file_create.bat من داخل هذا الدليل.
     6. سيؤدي ذلك إلى إنشاء ملف Lambda Layer المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • على Linux:
     1. تأكد من تثبيت Python 3.12 و PIP وتعيينه في متغير مسار المستخدم.
     2. افتح موجه أوامر Linux.
     3. إنشاء دليل جديد وقرص cd فيه.
     4. قم بتشغيل lambda_layer_file_create.sh من داخل هذا الدليل.
     5. سيؤدي ذلك إلى إنشاء ملف Lambda Layer المسمى py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. خذ قالب AWS CloudFormation المقدم
   • DeploymentArtIfCtss3BucketName - اضبط هذا على اسم دلو Amazon S3 من الخطوة 3.
6. قم بإنشاء مكدس AWS CloudFormation مع القالب المحدث.
7. افتح دفتر Jupyter Notebook المسمى Rag-Router.ipynb من خلال التنقل إلى وحدة التحكم في مثيلات دفتر Amazon Sagemaker والنقر على رابط Jupyter المفتوح على المثيل المسمى Rag-Router-Instance .

هيكل المستودع

يحتوي هذا المستودع

• دفتر Jupyter للبدء.

• مجموعة من وظائف المساعد لدفتر الملاحظات

• مخططات الهندسة المعمارية التي تظهر المكونات المختلفة المستخدمة في هذه الجلسة جنبا إلى جنب مع تفاعلاتها.

حماية

انظر المساهمة لمزيد من المعلومات.

رخصة

هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.