MLSearchEngine

محرك البحث المستند إلى ML

يعد البحث مهمة صعبة حيث يستغرق الكثير من الوقت لأداءها. إذا كان لدينا مجموعة بيانات كبيرة ، فإذا قمنا ببحث واحد إلى واحد ، فسيستغرق الأمر الكثير من وقت المستخدم.

عمل :

مجموعة البيانات:

لدينا مجموعة بيانات Overflow من Kaggle Link: https://www.kaggle.com/c/facebook-recruiting-iii-keyword-extraction/data

حتى الآن لدينا مهمة:

1. سيقوم المستخدم بإدخال استعلام يتعلق بالرمز.
2. علينا لمعالجة الاستعلام.
3. نتائج العودة مطابقة لاستعلامنا.

القيد:

1. لدي ذاكرة الوصول العشوائي بسعة 8 جيجابايت ومجموعة البيانات من 7 جيجابايت ، وبالتالي فإن استخدامها سيكون أمرًا صعبًا. لذلك نحن نستخدم SQLite لمعالجة المعلومات.
2. يتعين علينا تقليل البيانات ، لذلك أنا أتناول فقط أسئلة مرتبطة بـ C#و C ++ و C و Java و iOS

سير العمل:

1. SearchEngine_Data.ipynb: في هذا الكمبيوتر الدفتري ، نحصل على بياناتنا ونزيل التكرارات. ثم ننتقل إلى تحديد العلامات التي نريدها. استخدمنا المعالجة المتعددة للقيام بذلك لأن استخدام 4 نوى معًا زاد من السرعة وقام بعمل 2.5 ساعة في ساعة واحدة. قمنا بحفظ DataFrame المعالج الجديد في قاعدة بيانات SQLite.

2. Preprocessing.ipynb: في هذا الكمبيوتر الدفتري ، نقوم بتعامل مع المعالجة للبيانات في العنوان أي أسئلتنا. نقوم بإزالة أي علامات ومسافات HTML وغيرها من الكلمات غير المرغوب فيها أو الإيقاف.

3. SearchEngine_Data.ipynb: في هذا الكمبيوتر الدفتري ، نقوم بإنشاء نظام للوصول إلى الاستعلامات ، أي خطوة بدء بناء نظام التنبؤ الخاص بنا. قمنا أولاً بتجميع البيانات بأكملها واستخدمنا المسافة الزوجية بين الاستعلام وقاعدة البيانات ولكن النتائج لم تكن حتى العلامات. أداء TFIDF أفضل من القوس.

4. تصنيف machinelearning.ipynb: كما في الخطوة الثالثة ، لم نتمكن من الحصول على نتائج جيدة ، لذلك ما سنفعله هو استخدام بعض التعلم الآلي الكلاسيكي. إذن ما فعلته هو استخدام هذه البيانات لصنع نموذج التعلم الآلي. العنوان هو قيم سلسلة ، لذلك استخدمنا TFIDFVectorizer ASS TFIDF أداء أفضل من القوس في الخطوة الثالثة. الخطوة التالية قمنا بتقسيم النموذج إلى القطار ، السيرة الذاتية ، اختبار. نظرًا لأننا كان لدينا مثل هذا المتجه المتفرق ، كان لدينا خياران LR أو SVM. لقد قمنا بعمل على كل من Unigram و Bigram ولكن على Bigram كان مناسبة. ثم استخدمنا أخيرًا LR مع Unigram لأن أدائها كان أفضل.

ثم بعد التنبؤ بلغة البرمجة للاستعلام ، نضيف ذلك في استفسارنا. تسبب في الغالب عندما نبحث عن شيء ما على stackoverflow ، غالبًا ما نضيف علامة مع سؤالنا.

ثم كررنا الخطوات التي قمنا بها في الخطوة الثالثة وكانت نتائجنا أفضل بكثير.

مستقبل :

1. يمكننا استخدام W2V و TFIDF مرجحة W2V. كما كنت محدودا مع الموارد وبالتالي لم أستطع القيام بذلك.
2. صنع واجهة برمجة تطبيقات قارورة لجعلها قابلة للتقدم. نظرًا لأن لدينا أيضًا مجموعة من الأسئلة ونحن نعيد فهارس من البحث ، يمكننا استخدام هذا الفهرس لعرضها بطريقة قابلة للتقدم.