FunpySpiderSearchEngine

Implémentation de recherche personnalisée Word2Vec + Scrapy2.3.0 (Données de craw

Cet entrepôt est le code Elasticsearch pour le stockage des données du robot .

Caractéristiques disponibles:

1. Zhihu réponse question Crawler Save Elasticsearch
2. Recherche de texte intégral (doit être utilisée avec le site Web), les termes de recherche sont mis en évidence et marqués de rouge
3. Le numéro rampé à trois stations en temps réel affiché par Redis, les 5 meilleures recherches populaires
4. Word2Vec change elasticsearch (function_score, script_score).

Pour l'ensemble du processus de la formation du modèle Word2Vec, veuillez vérifier l'utilisation de ReadMe Word2Vec dans Word2VecModel, qui affecte la notation d'Elasticsearch.

Code de notation de base:

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

Le score est doublé pour chaque titre.

Diagramme de démonstration de projet:

Comment commencer?

1. Installez Elasticsearch 7.9.1, (configuration facultative de la tête de recherche)
2. Configuration du plugin Elasticsearch-Analysis-IK
3. Installer Redis

Cette machine fonctionne

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

Docker fonctionne

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

Visitez 127.0.0.1:8080

parrainer

Si mon code de projet vous est utile, donnez-moi un petit pain de bandes épicées!