FunpySpiderSearchEngine

Word2Vec 개인 검색 구현 + Scrapy2.3.0 (크롤링 데이터) + Elasticsearch7.9.1 (데이터 저장 및 외부 편안한 API 제공) + Django3.1.1 검색

이 창고는 Crawler 데이터 스토리지의 Elasticsearch 코드입니다 .

사용 가능한 기능 :

1. Zhihu 답변 질문 Crawler Save Elasticsearch
2. 전체 텍스트 검색 (웹 사이트와 함께 사용해야 함), 검색 용어가 강조 표시되고 빨간색으로 표시됩니다.
3. Redis가 표시 한 실시간 3 스테이션 크롤링 번호, 상위 5 개 인기있는 검색
4. Word2Vec은 ElasticSearch (function_score, script_score) 점수를 변경하면 Apple을 검색하면 Apple과 작업이 Word2Vec에 의해 계산 된 키워드 점수가 높아집니다.

Word2Vec 모델 교육의 전체 프로세스에 대해서는 Word2VecModel에서 readme Word2Vec의 사용을 확인하십시오.

핵심 점수 코드 :

 "source": "double final_score=_score;int count=0;int total = params.title_keyword.size();while(count < total) { String upper_score_title = params.title_keyword[count]; if(doc['title_keyword'].value.contains(upper_score_title)){final_score = final_score+_score;}count++;}return final_score;"

각 타이틀에 대해 점수가 두 배가됩니다.

프로젝트 데모 다이어그램 :

시작하는 방법?

1. Elasticsearch 7.9.1 설치 (Elasticsearch-Head의 선택적 구성)
2. Elasticsearch-Analysis-IK 플러그인 구성
3. Redis를 설치하십시오

이 기계가 실행됩니다

 git clone https://github.com/mtianyan/FunpySpiderSearchEngine
# 修改config_template中配置信息后重命名为config.py
# 执行 sites/zhihu/es_zhihu.py

cd FunpySpiderSearchEngine
pip install -r requirements.txt
scrapy crawl zhihu

도커가 달린다

 docker network create search-spider
git clone https://github.com/mtianyan/mtianyanSearch.git
cd mtianyanSearch
docker-compose up -d
git clone https://github.com/mtianyan/FunpySpiderSearchEngine
cd FunpySpiderSearchEngine
docker-compose up -d

127.0.0.1:8080을 방문하십시오

스폰서

내 프로젝트 코드가 도움이되면 매운 스트립 빵을주세요!