Koleksi crawler sederhana # 1. Saya hanya membuat fungsi untuk mengumpulkan URL. Jika Anda perlu menyimpan data ke dalam database, Anda dapat menulis kode pemrosesan di fungsi parseData. # 2. Memerlukan dukungan sqlite3 atau pysqlite # 3. Dapat berjalan di ruang DreamHost.com # 4. Agen Pengguna dapat dimodifikasi untuk berpura-pura menjadi laba-laba mesin pencari # 5. Anda dapat mengatur waktu jeda dan mengontrol kecepatan pengumpulan.
