Search Engines Scraper

Search_engines

Una biblioteca de Python que consulta a Google, Bing, Yahoo y otros motores de búsqueda y recopila los resultados de múltiples páginas de resultados del motor de búsqueda.
Tenga en cuenta que el raspado web puede estar en contra de los TOS de algunos motores de búsqueda, y puede resultar en una prohibición temporal.

Motores de búsqueda compatibles

Google
Aturdir
Yahoo
Duckduckgo
Page de inicio
AOL
Perdpile
Preguntar
Mojeek
Corajudo
Antorcha

Características

• Crea archivos de salida (HTML, CSV, JSON).
• Admite filtros de búsqueda (URL, título, texto).
• HTTP y soporte proxy de calcetines.
• Recoge enlaces web oscuros con antorcha.
• Fácil de agregar nuevos motores de búsqueda. Puede agregar un nuevo motor creando una nueva clase en search_engines/engines/ y agregarlo al Diccionario search_engines_dict en search_engines/engines/__init__.py . La nueva clase debe subclase SearchEngine y anular los siguientes métodos: _selectors , _first_page , _next_page .
• Python2 - Python3 Compatible.

Requisitos

Python 2.7 - 3.x con
Solicitudes y
Beautifulsoup

Instalación

Ejecute el archivo de configuración: $ python setup.py install .
¡Hecho!

Uso

Como biblioteca:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

Como un script de CLI:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Otras versiones

• async-search-scraper Una implementación asíncrona realmente genial, escrita por @Soxoj