Coleção simples de rastreadores # 1. Criei apenas uma função para coletar URLs. Se precisar armazenar os dados no banco de dados, você pode escrever o código de processamento na função parseData. # 2. Requer suporte sqlite3 ou pysqlite # 3. Pode ser executado no espaço DreamHost.com # 4. O User-Agent pode ser modificado para fingir ser um spider de mecanismo de pesquisa # 5. Você pode definir o tempo de pausa e controlar a velocidade de coleta.
