FunpySpiderSearchEngine

Word2vec Pesquisa personalizada Implementação + SCRAPY2.3.0 (Dados de rastreamento) + Elasticsearch7.9.1 (armazenando dados e fornecendo API RESTful externa) + Django3.1.1 Pesquisa

Este armazém é o código Elasticsearch para armazenamento de dados de rastreamento .

Recursos disponíveis:

1. Zhihu Resposta Pergunta CRAWLER SAVE ELASTICSearch
2. Pesquisa completa de texto (preciso ser usado junto com o site), os termos de pesquisa são destacados e marcados com vermelho
3. O número rastejado em três estações em tempo real exibido por Redis, 5 pesquisas populares
4. Word2vec altera o Elasticsearch (function_score, script_score).

Para todo o processo do Treinamento do Modelo Word2vec, verifique o uso do ReadMe Word2Vec no Word2VecModel, que afeta a pontuação do Elasticsearch.

Código de pontuação do núcleo:

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

A pontuação é dobrada para cada título.

Diagrama de demonstração do projeto:

Como começar?

1. Instale o Elasticsearch 7.9.1 (Configuração opcional do Elasticsearch-Head)
2. Configurando o plugin Elasticsearch-Análise-TIK
3. Instale redis

Esta máquina é executada

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

Docker corre

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

Visite 127.0.0.1:8080

patrocinador

Se o código do meu projeto for útil para você, me dê um coque de tiras picantes!