spodermen

Spodermen

一个愚蠢的站点爬网，以突出显示链接破裂和路线故障。

搜索HTML内容中的href属性，并遵循同一域上的任何链接。报告所有爬行URL的HTTP状态代码，内容长度和请求持续时间。

用法

 $ ./spodermen https://github.com/cavaliercoder/spodermen
GET /cavaliercoder/spodermen 200 48600 1538
Dolan, y u do dis?

评论

糟糕的。不要使用它。

• 瑞安·阿姆斯特朗（Ryan Armstrong）