FunpySpiderSearchEngine

WORD2VEC Personalisierte Suchimplementierung + Scrapy2.3.0 (Crawl -Daten) + Elasticsearch7.9.1 (Speichern und Bereitstellung einer externen Rastful -API) + Django3.1.1 Suche

Dieses Lager ist der Elasticsearch -Code für Crawler -Datenspeicher .

Verfügbare Funktionen:

1. Zhihu Antwort Frage Crawler Save Elasticsearch
2. Volltext -Suche (müssen zusammen mit der Website verwendet werden), die Suchbegriffe werden hervorgehoben und mit rot markiert
3. Die von Redis, Top-5 beliebte Suchanfragen angezeigte Dreistation in Echtzeit, zeigte sich
4. Word2VEC ändert Elasticsearch (Function_Score, script_score).

Für den gesamten Prozess des Word2VEC -Modelltrainings überprüfen Sie bitte die Verwendung von ReadMe Word2VEC in Word2Vecmodel, das die Bewertung von Elasticsearch beeinflusst.

Kernbewertungscode:

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

Die Punktzahl wird für jeden Titel verdoppelt.

Projektdemonstrationsdiagramm:

Wie fange ich an?

1. Installieren Sie Elasticsearch 7.9.1 (Optionale Konfiguration von Elasticsearch-Head)
2. Konfigurieren des Elasticsearch-Analysis-I-IK-Plugins
3. Redis installieren

Diese Maschine läuft

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

Docker läuft

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

Besuchen Sie 127.0.0.1:8080

Sponsor

Wenn mein Projektcode für Sie hilfreich ist, geben Sie mir bitte ein Brötchen mit würzigen Streifen!