bert faiss qa system
1.0.0
هذا المشروع عبارة عن نظام أسئلة وأجوبة يتم تنفيذه باستخدام Distilbert لتمثيل النص و FAISS (بحث تشابه AI على Facebook) للبحث الفعال عن التشابه في قاعدة بيانات متجه. تم تصميم النظام لتوفير إجابات دقيقة وذات صلة باستعلامات المستخدم من خلال البحث من خلال مجموعة كبيرة من المستندات.
تمثيل النص المستند إلى Distilbert : يستخدم نموذج Distilbert لتحويل الأسئلة والمستندات إلى تمثيلات ناقلات كثيفة.
قاعدة بيانات متجه FAISS : تخزن تمثيل المتجه للمستندات للبحث السريع عن التشابه.
استرجاع فعال : يجد المستندات الأكثر صلة بسؤال معين من خلال إجراء عمليات تفتيش تشابه فعالة في قاعدة بيانات متجه FAISS.
git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.gitpip install -r requirements.txtpython3 trainer.pyملاحظة : يمكنك التحقق من النموذج الخاص بي في الرابط: https://huggingface.co/vubacktracking/distilbert-base-finetuned-squad2
python3 faiss_index.py
streamlit run app.py افتح متصفح الويب الخاص بك وانتقل إلى http://localhost:8501/ لاستخدام نظام الأسئلة والأجوبة المستند إلى الويب.
بيرت تضمينات :
فهرسة فايس :
معالجة الاستعلام :
استخراج الإجابة :
