QA مع LLM و RAG (جيل معزز الاسترجاع)
هذا المشروع عبارة عن تطبيق للإجابة على أسئلة مع طرز لغة كبيرة (LLMS) و Amazon Aurora postgresql باستخدام PGVector. يقوم تطبيق باستخدام نهج RAG (الجيل المعزز للاسترجاع) إلى استرداد المعلومات الأكثر صلة بطلب المستخدم من قاعدة المعرفة للمؤسسة أو المحتوى ، ويحددها كسياق إلى جانب طلب المستخدم كمطالبة ، ثم يرسلها إلى LLM للحصول على استجابة GENAI.
LLMs لها قيود حول عدد الكلمات القصوى لمطالبة الإدخال ، وبالتالي فإن اختيار المقاطع المناسبة بين الآلاف أو الملايين من المستندات في المؤسسة ، له تأثير مباشر على دقة LLM.
في هذا المشروع ، يتم استخدام Amazon Aurora postgresql مع PGVector لقاعدة المعرفة.
العمارة العامة مثل هذا:
سير العمل العام
- نشر مداخن CDK (لمزيد من المعلومات ، انظر هنا).
- استوديو Sagemaker في VPC الخاص.
- نقطة نهاية Sagemaker لتوليد النص.
- نقطة نهاية Sagemaker لتوليد التضمينات.
- مجموعة Amazon Aurora postgresql لتخزين التضمينات.
- تخزين بيانات اعتماد AURORA PostgreSQL CLUSTER (اسم المستخدم وكلمة المرور) في أسرار AWS MANANGER كاسم مثل
RAGPgVectorStackAuroraPostg-xxxxxxxxxxxx .
- افتح jupyterlab في Sagemaker Studio ثم افتح محطة جديدة.
- قم بتشغيل الأوامر التالية على المحطة لاستنساخ مستودع الرمز لهذا المشروع:
git clone --depth=1 https://github.com/aws-samples/rag-with-amazon-postgresql-using-pgvector.git
- افتح
data_ingestion_to_pgvector.ipynb دفتر وقم بتشغيله. (لمزيد من المعلومات ، انظر هنا) - تشغيل تطبيق SPERTELIT. (لمزيد من المعلومات ، انظر هنا)
مراجع
- الاستفادة من PGVector و Amazon Aurora postgresql لمعالجة اللغة الطبيعية ، ودردشة الدردشة وتحليل المشاعر (2023-07-13)
- تسريع فهرسة HNSW والبحث مع PGVector على Amazon Aurora Postgresql المتوافقة مع الإصدار المتوافق مع Amazon RDS لـ Postgresql (2023-11-06)
- تحسين تطبيقات الذكاء الاصطناعي مع فهرسة PGVector: الغوص العميق في تقنيات Ivfflat و HNSW (2024-03-15)
- تحسين أداء أعباء عمل الذكاء الاصطناعى التوليدي على Amazon Aurora مع قراءات محسنة و PGVector (2024-02-09)
- بناء البحث الذي يعمل به منظمة العفو الدولية في PostgreSQL باستخدام Amazon Sagemaker و PGVector (2023-05-03)
- بناء تطبيقات STIPLELIT في Amazon Sagemaker Studio (2023-04-11)
- قم ببناء تطبيقات AI عالية الدقة بسرعة على بيانات المؤسسة باستخدام أمازون كيندرا ، لانجشين ، ونماذج اللغة الكبيرة (2023-05-03)
- (Github) عينات Amazon Kendra Retriver
- الإجابة على الأسئلة باستخدام جيل معزز الاسترجاع مع نماذج الأساس في Amazon Sagemaker Jumpstart (2023-05-02)
- استخدم نماذج مؤسسة الملكية من Amazon Sagemaker Jumpstart في Amazon Sagemaker Studio (2023-06-27)
- Langchain - إطار لتطوير التطبيقات التي تعمل بنماذج اللغة.
- SPEREMLIT - طريقة أسرع لبناء ومشاركة تطبيقات البيانات
- Rag-With-Amazon-Kendra-and-Sagemaker-Assout Assing Application مع نماذج لغة كبيرة (LLMS) و Amazon Kendra
- Rag-with-Amazon-Opensearch و Sagemaker-الإجابة على الأسئلة مع نماذج لغة كبيرة (LLMS) وخدمة Amazon OpenSearch
- rag-with-amazon-opensearch-serverless-أسئلة الإجابة على التطبيق مع نماذج لغة كبيرة (LLMS) وخدمة Amazon OpenSearch بدون خادم
- PGVector Changelog-V0.4.0 (2023-01-11)
زيادة أبعاد الحد الأقصى للمتجه من 1024 إلى 16000
زيادة أبعاد الحد الأقصى للفهرس من 1024 إلى 2000
حماية
انظر المساهمة لمزيد من المعلومات.
رخصة
هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.
