news search engine

新闻搜索引擎

使用方法

1. 安装python 3.4+环境（推荐Anaconda或Miniconda）
2. 安装lxml html解析器，命令为pip install lxml
3. 安装jieba分词组件，命令为pip install jieba
4. 安装Flask Web框架，命令为pip install Flask
5. 进入web文件夹，运行main.py文件
6. 打开浏览器，访问http://127.0.0.1:5000/ 输入关键词开始测试

如果想抓取最新新闻数据并构建索引，一键运行./code/setup.py，再按上面的方法测试。

2020.4.5：新增抓取中国新闻网的爬虫程序。先运行./code/spider.chinanews.com.py爬取最近5天新闻（约2500条）；然后注释./code/setup.py第38行并运行，自动构建索引。

项目介绍

1. 和我一起构建搜索引擎（一）简介
2. 和我一起构建搜索引擎（二）网络爬虫
3. 和我一起构建搜索引擎（三）构建索引
4. 和我一起构建搜索引擎（四）检索模型
5. 和我一起构建搜索引擎（五）推荐阅读
6. 和我一起构建搜索引擎（六）系统展示
7. 和我一起构建搜索引擎（七）总结展望
8. 和我一起构建搜索引擎（八）更新爬虫&修改打分&线上部署

感谢

• jieba
• scikit-learn
• flask