NLP Question Answering
1.0.0
أول تشغيل drocsing.py ، ثم irmodel.py ، و last generativeai.py
يتم إنشاء كل ملف CSV المطلوب بواسطة ملف Python السابق.
في هذا المشروع ، نركز على تطوير نظام الإجابة على أسئلة متقدم مصمم لطلاب المدارس الثانوية. الهدف الأساسي للنظام هو الإجابة بكفاءة على الأسئلة المتعلقة بالسجل ، وتوفير معلومات دقيقة وذات صلة لمساعدة الطلاب في رحلة التعلم الخاصة بهم.
في مرحلة تجريف الويب ، نقوم باستخراج المعلومات ذات الصلة برمجياً من مصادر الويب المختلفة. تتضمن هذه العملية تزحف صفحات الويب ، واستخراج محتوى HTML ، وتحليل البيانات ، وتحويلها إلى تنسيق منظم.
والخطوة التالية هي استرجاع المعلومات ، حيث نستخدم تقنيات مثل TF-IDF (تردد الوثيقة العكسية للترددات المصطلح) و SBERT (الجملة-بيرت) لفهرسة وبحث البيانات النصية التي تم جمعها بفعالية. يحسب TF-IDF أهمية كل كلمة في مجموعة مستندات ، بينما يستخدم Sbert نماذج قائمة على المحولات لإنشاء تضمينات مدركة للسياق للجمل أو الفقرات. باستخدام هذه الأساليب ، يمكننا استرداد المستندات أو المقاطع ذات الصلة بكفاءة المتعلقة بسؤال معين.
تتضمن الخطوة الأخيرة في العملية الذكاء الاصطناعي ، والتي تهدف إلى توليد ردود تشبه الإنسان على الأسئلة المحددة. يتعلم نموذج الذكاء الاصطناعي التوليدي من كميات هائلة من البيانات ويولد إجابات متماسكة وذات صلة بالسياق بناءً على سؤال الإدخال. هذه النماذج لديها القدرة على فهم أنماط اللغة ، والدلالات ، والسياق ، مما يسمح لها بإنشاء ردود تبدو طبيعية وغنية بالمعلومات.
