Search Engines Scraper

search_engines

Perpustakaan Python yang menanyakan Google, Bing, Yahoo dan mesin pencari lainnya dan mengumpulkan hasil dari beberapa halaman hasil mesin pencari.
Harap dicatat bahwa pengambilan web mungkin bertentangan dengan TOS beberapa mesin pencari, dan dapat menghasilkan larangan sementara.

Mesin pencari yang didukung

Google
Bing
Yahoo
Duckduckgo
Startpage
AOL
Dogpile
Bertanya
Mojeek
Berani
Obor

Fitur

• Membuat file output (HTML, CSV, JSON).
• Mendukung filter pencarian (URL, judul, teks).
• Dukungan proxy http dan socks.
• Mengumpulkan tautan web gelap dengan obor.
• Mudah menambahkan mesin pencari baru. Anda dapat menambahkan mesin baru dengan membuat kelas baru di search_engines/engines/ dan menambahkannya ke Kamus search_engines_dict di search_engines/engines/__init__.py . Kelas baru harus subkelas SearchEngine , dan mengganti metode berikut: _selectors , _first_page , _next_page .
• Python2 - Python3 kompatibel.

Persyaratan

Python 2.7 - 3.x dengan
Permintaan dan
Beautifulsoup

Instalasi

Jalankan file pengaturan: $ python setup.py install .
Selesai!

Penggunaan

Sebagai perpustakaan:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

Sebagai skrip CLI:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Versi lainnya

• async-search-scraper implementasi asinkron yang sangat keren, ditulis oleh @soxoj