หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การใช้งานการค้นหาส่วนบุคคลของ Word2vec + Scrapy2.3.0 (ข้อมูลรวบรวมข้อมูล) + Elasticsearch7.9.1 (จัดเก็บข้อมูลและจัดหา API ที่เหลือภายนอก) + Django3.1.1 การค้นหา

คลังสินค้านี้เป็นรหัส Elasticsearch สำหรับการจัดเก็บข้อมูลตัวรวบรวมข้อมูล

คุณสมบัติที่มีอยู่:

  1. Zhihu ตอบคำถาม Crawler บันทึก Elasticsearch
  2. การค้นหาข้อความแบบเต็ม (จำเป็นต้องใช้ร่วมกับเว็บไซต์) คำค้นหาจะถูกเน้นและทำเครื่องหมายด้วยสีแดง
  3. หมายเลขรวบรวมข้อมูลสามสถานีแบบเรียลไทม์ที่แสดงโดย Redis, การค้นหายอดนิยม 5 อันดับแรก
  4. Word2vec เปลี่ยน Elasticsearch (ฟังก์ชั่น _score, script_score) คะแนน

สำหรับกระบวนการทั้งหมดของการฝึกอบรมแบบจำลอง Word2vec โปรดตรวจสอบการใช้ Readme Word2vec ใน Word2vecModel ซึ่งส่งผลต่อการให้คะแนนของ Elasticsearch

รหัสการให้คะแนนหลัก: 

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

คะแนนเพิ่มขึ้นเป็นสองเท่าสำหรับแต่ละชื่อ

แผนภาพการสาธิตโครงการ:

จะเริ่มต้นได้อย่างไร?

  1. ติดตั้ง ElasticSearch 7.9.1, (การกำหนดค่าเสริมของ Elasticsearch-Head)
  2. การกำหนดค่าปลั๊กอิน ElasticSearch-Analysis-iK
  3. ติดตั้ง Redis

เครื่องนี้ทำงาน 

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

Docker Runs 

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

เยี่ยมชม 127.0.0.1:8080

ผู้สนับสนุน

หากรหัสโครงการของฉันมีประโยชน์สำหรับคุณโปรดให้แถบเผ็ดมาให้ฉัน!

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด