ECommerceCrawlers

多种电商商品数据 ? 爬虫，整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。

通过每个项目的 readme，了解爬取过程分析。

对于精通爬虫的 pyer，这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护，确保即下即用，减少爬取的时间。

对于小白通过 ✍️ 实战项目，了解爬虫的从无到有。爬虫知识构建可以移步项目 wiki。爬虫可能是一件非常复杂、技术门槛很高的事情，但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的 ???。

需要进阶学习爬虫技巧，推荐王平大师傅的猿人学·爬虫逆向高阶课，报AJay13推荐，可享受内部优惠价格。

欢迎大家对本项目的不足加以指正，⭕️Issues 或者 ?Pr

在之前上传的大文件贯穿了 3/4 的 commits，发现每次 clone 达到 100M，这与我们最初的想法违背，我们不能很有效的删除每一个文件（太懒），将重新进行初始化仓库的 commit。并在今后不上传爬虫数据，优化仓库结构。

• 码云仓库链接:AJay13/ECommerceCrawlers
• Github 仓库链接:DropsDevopsOrg/ECommerceCrawlers
• 项目展示平台链接:http://wechat.**doon*sec.com

几乎 80%的项目都是帮客户写的爬虫，在添加到仓库之前已经经过客户同意可开源原则。

• DianpingCrawler：大众点评爬取
• East_money：scrapy 爬取东方财富网
• ?TaobaoCrawler(new)：阿里系全自主平台(淘宝、天猫、咸鱼、菜鸟裹裹、飞猪等)信息爬取 免 cookie, 理论上不被反爬虫机制(只提供淘宝，其他思路一样，加密方式一样)，
• ?SIPO 专利审查：SIPO 专利审查 自动化客户端
• ?QiChaCha：企查查 全国工业园区及企业信息
• TaobaoCrawler：淘宝商品爬取
• ?ZhaopinCrawler：各大招聘网站爬取
• ShicimingjuCrawleAndDisplayr：诗词名家句网站爬取展示
• XianyuCrawler：闲鱼商品爬取
• SohuNewCrawler：新闻网爬取
• WechatCrawler：微信公众号爬取
• cnblog：scrapy 博客园爬取
• WeiboCrawler：微博数据爬取免 cookie
• OtherCrawlers：一些有趣的爬虫例子
  • 0x01 百度贴吧
  • 0x02 豆瓣电影
  • 0x03 阿里任务
  • 0x04 包图网视频
  • 0x05 全景网图片
  • 0x06 豆瓣音乐
  • 0x07 某省药监局
  • 0x08 fofa
  • 0x09 汽车之家
  • 0x010 国家统计局
  • 0x10 baidu
  • 0x11 蜘蛛泛目录
  • 0x12 今日头条
  • 0x13 豆瓣影评分析
  • 0x14 协程评论爬取
  • 0x15 小米应用商店爬取
  • 0x16 酷安app信息采集
  • 0x17 知乎信息采集
  • 0x18 必应图片采集
  • 0x19 安居客信息采集
  • 0x20 途家民宿信息采集

joseph31	Joynice	liangweiyang	Hatcat123	jihu9	ctycode	sparkyuyuanyuan

wait for you

本项目使用了哪些有用的技术

• 数据分析
  • chrome Devtools
  • Fiddler
  • Firefox
  • appnium
  • anyproxy
  • mitmproxy
• 数据采集
  • urllib
  • requests
  • scrapy
  • selenium
  • pypputeer
• 数据解析
  • re
  • beautifulsoup
  • xpath
  • pyquery
  • css
• 数据保存
  • txt 文本
  • csv
  • excel
  • mysql
  • redis
  • mongodb
• 反爬验证
  • mitmproxy 绕过淘宝检测
  • js 数据解密
  • js 数据生成对应指纹库
  • 文字混淆
  • 穿插脏数据
• 效率爬虫
  • 单线程
  • 多线程
  • 多进程
  • 异步协成
  • 生产者消费者多线程
  • 分布式爬虫系统

链接标识官方文档或推荐例子

ECommerceCrawlerswiki

爬虫

爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

爬虫到底违法吗？

爬虫作用

• 市场分析：电商分析、商圈分析、一二级市场分析等
• 市场监控：电商、新闻、房源监控等
• 商机发现：招投标情报发现、客户资料发掘、企业客户发现等

网页介绍

• url
• html
• css
• js

Roobots 协议

无规矩不成方圆，Robots 协议就是爬虫中的规矩，它告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。 通常是一个叫作 robots.txt 的文本文件，放在网站的根目录下。

获取数据

模拟获取数据

re

beautifulsoup

xpath

pyquery

css

小规模数据存储（文本）

• txt 文本
• csv
• excel

大规模数据存储（数据库）

• mysql
• redis
• mongodb

反爬

反反爬

多线程

多进程

异步协程

scrapy 框架

flask Web

django Web

tkinter

echarts

electron

…………

• CriseLYJ/awesome-python-login-model

• lb2281075105/Python-Spider

• SpiderCrackDemo