news search engine

新聞搜索引擎

使用方法

1. 安裝python 3.4+環境（推薦Anaconda或Miniconda）
2. 安裝lxml html解析器，命令為pip install lxml
3. 安裝jieba分詞組件，命令為pip install jieba
4. 安裝Flask Web框架，命令為pip install Flask
5. 進入web文件夾，運行main.py文件
6. 打開瀏覽器，訪問http://127.0.0.1:5000/ 輸入關鍵詞開始測試

如果想抓取最新新聞數據並構建索引，一鍵運行./code/setup.py ，再按上面的方法測試。

2020.4.5：新增抓取中國新聞網的爬蟲程序。先運行./code/spider.chinanews.com.py爬取最近5天新聞（約2500條）；然後註釋./code/setup.py第38行並運行，自動構建索引。

項目介紹

1. 和我一起構建搜索引擎（一）簡介
2. 和我一起構建搜索引擎（二）網絡爬蟲
3. 和我一起構建搜索引擎（三）構建索引
4. 和我一起構建搜索引擎（四）檢索模型
5. 和我一起構建搜索引擎（五）推薦閱讀
6. 和我一起構建搜索引擎（六）系統展示
7. 和我一起構建搜索引擎（七）總結展望
8. 和我一起構建搜索引擎（八）更新爬蟲&修改打分&線上部署

感謝

• jieba
• scikit-learn
• flask