Collection simple de robots # 1. J'ai uniquement créé une fonction pour collecter les URL. Si vous devez stocker les données dans la base de données, vous pouvez écrire le code de traitement dans la fonction parseData. # 2. Nécessite le support de sqlite3 ou pysqlite # 3. Peut fonctionner sur l'espace DreamHost.com # 4. L'agent utilisateur peut être modifié pour prétendre être une araignée de moteur de recherche # 5. Vous pouvez définir le temps de pause et contrôler la vitesse de collecte.
