Einfache Sammlung von Crawlern # 1. Ich habe nur eine Funktion zum Sammeln von URLs erstellt. Wenn Sie die Daten in der Datenbank speichern müssen, können Sie den Verarbeitungscode in die Funktion parseData schreiben. # 2. Erfordert SQLite3- oder Pysqlite-Unterstützung # 3. Kann im DreamHost.com-Bereich ausgeführt werden # 4. Der User-Agent kann so modifiziert werden, dass er sich als Suchmaschinen-Spider ausgibt # 5. Sie können die Pausenzeit einstellen und die Sammelgeschwindigkeit steuern.
