Python 写的简易采集爬虫

简易采集爬虫
# 1.我只做了一个收集url的功能，如果需要将数据入库，可在 parseData 函数里面写处理代码
# 2.需要sqlite3或者pysqlite支持
# 3.可以在DreamHost.com空间上面运行
# 4.可以修改User-Agent冒充搜索引擎蜘蛛
# 5.可以设置暂停的时间，控制采集速度