Search Engines Scraper

Search_engines

Eine Python -Bibliothek, die Google, Bing, Yahoo und andere Suchmaschinen abfragt und die Ergebnisse von mehreren Suchmaschinen -Ergebnisseiten sammelt.
Bitte beachten Sie, dass das Web-Scraping möglicherweise gegen die TOS einiger Suchmaschinen liegt und zu einem vorübergehenden Verbot führen kann.

Unterstützte Suchmaschinen

Google
Bing
Yahoo
Duckduckgo
Startseite
AOL
Dogpile
Fragen
Mojeek
Mutig
Fackel

Merkmale

• Erstellt Ausgabedateien (HTML, CSV, JSON).
• Unterstützt Suchfilter (URL, Titel, Text).
• HTTP- und Socken -Proxy -Unterstützung.
• Sammelt dunkle Web -Links mit Taschenlampe.
• Einfach neue Suchmaschinen hinzufügen. Sie können eine neue Engine hinzufügen, indem Sie eine neue Klasse in search_engines/engines/ und dem Wörterbuch search_engines_dict in search_engines/engines/__init__.py hinzufügen. Die neue Klasse sollte SearchEngine unterklassen und die folgenden Methoden überschreiben: _selectors , _first_page , _next_page .
• Python2 - Python3 kompatibel.

Anforderungen

Python 2.7 - 3.x mit
Anfragen und
Schöne Gruppe

Installation

Führen Sie die Setup -Datei aus: $ python setup.py install .
Erledigt!

Verwendung

Als Bibliothek:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

Als CLI -Skript:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Andere Versionen

• Async-Search-Craper Eine wirklich coole asynchrone Implementierung, geschrieben von @Soxoj