scrappy_asp.net

scrappy_asp.net

在ASP.NET上取消网站时，对一些困难进行排序

这是在ASP.NET站点上使用Scrappy的一个示例。

我要分享这个，因为它看起来很琐碎，我遇到了一些麻烦来实现这一目标。

• 该站点报废并不能为您提供更改页面的链接，因此您必须配置有效负载以提出表单请求。
• 您会在paryload.py中找到那些参数。有一个有效载荷可以提交第一份表单并加载表，下一个有效负载是为了更改页面时，当选定的页面超出范围时。
• 在蜘蛛文件夹中，有蜘蛛_1.py是一个适当的使用硒，但我认为不是一个好主意。查找Spider_2.py以获取我发现仅使用废料的解决方案。