fastRAG

---

بناء واستكشاف نماذج وتطبيقات فعالة للتنشيط

؟ التثبيت • المكونات • أمثلة •؟ ابدء • ؟ العروض التوضيحية • ✏ البرامج النصية • المعايير

Fast Rag هو إطار بحث لخطوط الأنابيب التوليدية الفعالة والمحسّنة للاسترجاع ، ويتضمن أحدث طراز LLMs واسترجاع المعلومات. تم تصميم Fastrag لتمكين الباحثين والمطورين من خلال مجموعة شاملة للأدوات لتقدم الجيل المعزز للاسترجاع.

يتم الترحيب بالتعليقات والاقتراحات والقضايا ورسومات السحب! ❤

مهم

متوافق الآن مع Haystack V2+. الرجاء الإبلاغ عن أي مشكلات محتملة تجدها.

التحديثات

• 2024-05 : Fastrag V3 هو Haystack 2.0 متوافق
• 2023-12 : دعم وقت التشغيل GAUDI2 و ONNX ؛ نماذج التضمين الأمثل ؛ متعددة الوسائط والدردشة العروض التوضيحية ؛ توليد نص رابطة.
• 2023-06 : تعديل مؤشر كولبيرت: إضافة/إزالة المستندات ؛ انظر indexupdater.
• 2023-05 : خرقة مع LLM ومثال توليف موجه ديناميكي.
• 2023-04 : دعم QDrant DocumentStore .

الميزات الرئيسية

• خرقة محسّنة : بناء خطوط أنابيب خرقة مع مكونات SOTA الفعالة لمزيد من كفاءة حساب.
• محسّن لأجهزة Intel : استفادة من امتدادات Intel لـ Pytorch (IPEX) ،؟ الأمثل Intel و؟ Optimum-Habana لتشغيلها على أنها مثالية قدر الإمكان على معالجات Intel® Xeon® و Intel® Gaudi® Ai Accelerators.
• قابلة للتخصيص : تم تصميم Fastrag باستخدام Haystack و Huggingface. جميع مكونات Fastrag متوافقة بنسبة 100 ٪.

عناصر

للحصول على نظرة عامة موجزة على مختلف المكونات الفريدة في Fastrag ، ارجع إلى صفحة نظرة عامة على المكونات.

LLM الخلفية
Intel Gaudi Accelerators	تشغيل LLMS على Gaudi 2
وقت التشغيل ONNX	تشغيل LLMS مع محسّن ONNX-RUNTIME
Openvino	تشغيل LLMs الكمية باستخدام Openvino
Llama-CPP	تشغيل خطوط أنابيب خرقة مع LLMS على خلفية Llama CPP
مكونات محسنة
التضمين	محسّنة INT8 ثنائية الأوساخ
المرتبة	محسّن/متناثر المتقاطع
مكونات موفرة
كولبيرت	التفاعل المتأخر القائم على الرمز المميز
الاندماج في DecoDer (FID)	توليد متعدد الوسيلة ترميز التشفير
إعادة	تحسن وحدة فك ترميز الوثخ المتعددة
منقوشة	محرك فهرسة فعال بشكل لا يصدق

؟ تثبيت

المتطلبات الأولية:

• بيثون 3.8 أو أعلى.
• Pytorch 2.0 أو أعلى.

لإعداد البرنامج ، قم بالتثبيت من pip أو استنساخ المشروع لتحديثات حافة النزيف. قم بتشغيل ما يلي ، ويفضل أن يكون ذلك في بيئة افتراضية تم إنشاؤها حديثًا:

pip install fastrag

حزم إضافية

هناك تبعيات إضافية يمكنك تثبيتها بناءً على استخدامك المحدد لـ Fastrag:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

للعمل مع أحدث إصدار من Fastrag ، يمكنك تثبيته باستخدام الأمر التالي:

pip install .

أدوات التطوير

pip install .[dev]

رخصة

الكود مرخص بموجب ترخيص Apache 2.0.

تنصل

هذا ليس منتج Intel الرسمي.