spodermen
1.0.0
一個愚蠢的站點爬網,以突出顯示鏈接破裂和路線故障。
搜索HTML內容中的href屬性,並遵循同一域上的任何鏈接。報告所有爬行URL的HTTP狀態代碼,內容長度和請求持續時間。
$ ./spodermen https://github.com/cavaliercoder/spodermen
GET /cavaliercoder/spodermen 200 48600 1538
Dolan, y u do dis?
糟糕的。不要使用它。
- 瑞安·阿姆斯特朗(Ryan Armstrong)