FunpySpiderSearchEngine

Word2VEC персонализированная реализация поиска + Scrapy2.3.0 (данные скара) + ElasticSearch7.9.1 (хранение данных и предоставление внешнего API RESTFUL) + DJango3.1.1 Search

Этот склад является кодом Elasticsearch для хранения данных Crawler .

Доступные функции:

1. Zhihu ответить на вопрос Crawler Save Elasticsearch
2. Полный текстовый поиск (необходимо использовать вместе с веб -сайтом), термины поиска выделены и помечены красным
3. Трехэтатный номер в режиме реального времени, отображаемый Redis, топ-5 популярных поисков
4. Word2VEC изменяет оценку Elasticsearch (function_score, script_score).

Для всего процесса обучения модели Word2VEC, пожалуйста, проверьте использование readme word2vec в Word2Vecmodel, что влияет на оценку Elasticsearch.

Основной код оценки:

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

Счет удвоится для каждого титула.

Демонстрационная диаграмма проекта:

Как начать?

1. Установить Elasticsearch 7.9.1, (необязательная конфигурация Elasticsearch-Head)
2. Настройка плагина ElasticSearch-Analysisysis-IK
3. Установите Redis

Эта машина работает

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

Докер бежит

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

Посетите 127.0.0.1:8080

спонсор

Если мой код проекта полезен для вас, пожалуйста, дайте мне булочку пряных полос!