Scrappy_asp.net
Sortieren Sie einige Schwierigkeiten beim Schrott von Websites auf ASP.NET
Dies ist ein Beispiel für die Verwendung von Scrappy auf der ASP.NET -Site.
Ich teile das, obwohl es trivial aussieht. Ich hatte einige Probleme, das zu schaffen.
- Die von der Site verschrottete Seite gibt Ihnen keine Links zum Ändern der Seite. Sie müssen daher die Nutzlast für eine Formularanforderung konfigurieren.
- Sie finden diese Paramater in Payload.py. Es gibt eine Nutzlast, um das erste Formular einzureichen und die Tabelle zu laden. Die nächsten sind für das Ändern von Seiten, wenn die ausgewählte Seite nicht begrenzt ist.
- Im Spinnenordner gibt es spider_1.py, das eine befriedigende Arbeit mit Selen erledigt hat, aber ich denke, es ist keine gute Idee. Suchen Sie nach spider_2.py für die Lösung, die ich nur mit Scrapy gefunden habe.
