Search Engines Scraper

Search_Engines

Une bibliothèque Python qui interroge Google, Bing, Yahoo et d'autres moteurs de recherche et collecte les résultats à partir de plusieurs pages de résultats de moteurs de recherche.
Veuillez noter que le scapage du Web peut être contraire aux TO de certains moteurs de recherche et peut entraîner une interdiction temporaire.

Moteurs de recherche pris en charge

Google
Bing
Yahoo
Duckduckgo
Page de démarrage
Aol
Pile de chien
Demander
Mojeek
Courageux
Torche

Caractéristiques

• Crée des fichiers de sortie (HTML, CSV, JSON).
• Prend en charge les filtres de recherche (URL, titre, texte).
• HTTP et support de proxy de chaussettes.
• Recueille des liens Web sombres avec la torche.
• Facile d'ajouter de nouveaux moteurs de recherche. Vous pouvez ajouter un nouveau moteur en créant une nouvelle classe dans search_engines/engines/ et l'ajouter au dictionnaire search_engines_dict dans search_engines/engines/__init__.py . La nouvelle classe doit sous-classer SearchEngine et remplacer les méthodes suivantes: _selectors , _first_page , _next_page .
• Python2 - Python3 compatible.

Exigences

Python 2.7 - 3.x avec
Demandes et
BelSoup

Installation

Exécutez le fichier de configuration: $ python setup.py install .
Fait!

Usage

En tant que bibliothèque:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

En tant que script CLI:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Autres versions

• Async-Search-Scraper une implémentation asynchrone vraiment cool, écrite par @Soxoj