الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تطبيق البحث المخصص Word2Vec + Scrapy2.3.0 (بيانات الزحف) + Elasticsearch7.9.1 (تخزين البيانات وتوفير واجهة برمجة تطبيقات خارجي مريح) + django3.1.1 البحث

هذا المستودع هو رمز Elasticsearch لتخزين بيانات الزاحف .

الميزات المتاحة:

  1. Zhihu الإجابة على السؤال الزاحف حفظ Elasticsearch
  2. البحث عن النص الكامل (يجب استخدامه مع موقع الويب) ، يتم تمييز مصطلحات البحث وتمييزها باللون الأحمر
  3. الرقم المزروع ثلاث محطات في الوقت الفعلي الذي عرضه Redis ، أعلى 5 عمليات البحث الشعبية
  4. يغير Word2Vec Elasticsearch (function_score ، script_score).

بالنسبة لعملية التدريب على نموذج Word2Vec بالكامل ، يرجى التحقق من استخدام README Word2VEC في Word2VecModel ، والذي يؤثر على تسجيل Elasticsearch.

رمز التسجيل الأساسي: 

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

يتضاعف النتيجة لكل لقب.

مخطط العرض التوضيحي للمشروع:

كيف تبدأ؟

  1. تثبيت Elasticsearch 7.9.1 ، (التكوين الاختياري لرأس Elasticsearch)
  2. تكوين البرنامج المساعد Elasticsearch-Analysis-IK
  3. تثبيت redis

هذا الجهاز يعمل 

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

يعمل Docker 

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

زيارة 127.0.0.1:8080

راعي

إذا كان رمز المشروع الخاص بي مفيدًا لك ، فالرجاء إعطائي كعكة من الشرائط الحارة!

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل