مساعد محفظة الوظيفي
نظام توليد (RAG) الذي تم تجهيزه الاسترجاع يتيح الاستعلام عن اللغة الطبيعية لبيانات محفظة الوظيفي المخزنة في قواعد بيانات المفهوم. يستخدم النظام خدمات Llamaindex و Openai التضمين/LLM لتوفير استجابات ذكية حول خبرة العمل والمشاريع والمهارات.
ملخص
يتكون هذا النظام من مكونين رئيسيين:
خط أنابيب ETL : يستخرج البيانات من قواعد بيانات المفهومات ، ويقوم بمعالجتها في التضمينات ، ويخزنها في قاعدة بيانات متجه
واجهة الاستعلام : تطبيق ويب مبسط يتيح تفاعل اللغة الطبيعية مع بيانات الحافظة
الميزات الرئيسية
- الاستعلام الذكي للغة الطبيعية لبيانات الحافظة
- بنية المؤشر المزدوج (النص والكلمات الرئيسية) لتحسين الاسترجاع
- تدفق الاستجابة في الوقت الحقيقي
- لوحة تصحيح الشفافية في عملية الخرقة
- عينة من الاستعلامات لإظهار القدرات
- قابلة للتكوين من خلال متغيرات البيئة
هيكل المشروع
الملفات الأساسية
notion_data_etl.ipynb : دفتر Jupyter لاستخراج ومعالجة بيانات الفكرة
- يتعامل مع المصادقة واتصالات قاعدة البيانات
- يعالج المستندات في العقد النصية والكلمات الرئيسية
- يخلق مؤشرات متجه لاسترجاع فعال
streamlit_app_rag.py : واجهة تطبيق الويب الرئيسية
- ينفذ واجهة مستخدم مساعد الخرقة
- يدير تاريخ الدردشة وإخراج التصحيح
- يتعامل مع تدفق الاستجابة في الوقت الفعلي
prompts.py : يحتوي على مطالبات النظام لـ:
- إعداد السياق لـ LLM
- استخراج الكلمات الرئيسية
المكونات الرئيسية
فئة معالج المفهوم
فئة شاملة لمعالجة البيانات:
- يستخلص البيانات من قواعد بيانات المفهوم
- يتعامل مع هياكل المحتوى المتداخلة
- معالجة النص والبيانات الوصفية
- يدعم أوضاع استخراج متعددة (رأس ، كامل ، حبيبتي)
فئة راجاب
فئة التطبيق الرئيسية التي:
- يدير الواجهة البطيئة
- يعامل تفاعلات الدردشة
- يوفر القدرات تصحيح الأخطاء
- يحافظ على حالة الجلسة
متطلبات الإعداد
متغيرات البيئة
NOTION_TOKEN=your_notion_api_token
NOTION_PROJECTS_DATABASE_ID=notion_database_id_for_projects
NOTION_EXPERIENCE_DATABASE_ID=notion_database_id_for_experiences
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
OPENAI_API_KEY=your_openai_api_key
التبعيات
- بيثون 3.10+
- llamaindex
- Openai
- التدفق
- Qdrant
- عميل API الفكرة
الاستخدام
- قم بإعداد متغيرات البيئة
- قم بتشغيل دفتر ETL لمعالجة بيانات الفكرة
- قم بتشغيل تطبيق SPEREMLIT للتفاعل مع البيانات
streamlit run streamlit_app_rag.py
بنيان
يستخدم النظام بنية مؤشر مزدوج:
- فهرس النص : يخزن المحتوى الكامل للاسترجاع التفصيلي
- فهرس الكلمات الرئيسية : المتاجر المستخرجة من الكلمات الرئيسية لتحسين المطابقة الدلالية
تتم معالجة الاستعلامات من خلال كلا المؤشرين لتوفير استجابات شاملة ودقيقة.
ميزات التصحيح
يتضمن النظام لوحة تصحيح شاملة تُظهر:
- خطوات معالجة الاستعلام
- تفاصيل عملية الاسترجاع
- توليد الاستجابة
- أي أخطاء أو تحذيرات