Search Engines Scraper

Search_engines

Uma biblioteca Python que consulta o Google, Bing, Yahoo e outros mecanismos de pesquisa e coleta os resultados de várias páginas de resultados dos mecanismos de pesquisa.
Observe que a eliminação da Web pode ser contra os TOs de alguns mecanismos de pesquisa e pode resultar em uma proibição temporária.

Mecanismos de pesquisa suportados

Google
Bing
Yahoo
Duckduckgo
Startpage
AOL
Dogpile
Perguntar
Mojeek
Corajoso
Tocha

Características

• Cria arquivos de saída (HTML, CSV, JSON).
• Suporta filtros de pesquisa (URL, título, texto).
• Suporte de proxy HTTP e meias.
• Recolhe os links da Web Dark com a tocha.
• Fácil de adicionar novos mecanismos de pesquisa. Você pode adicionar um novo mecanismo criando uma nova classe em search_engines/engines/ e adicioná -lo ao Dicionário de search_engines_dict em search_engines/engines/__init__.py . A nova classe deve subclasse SearchEngine e substituir os seguintes métodos: _selectors , _first_page , _next_page .
• Python2 - Python3 Compatível.

Requisitos

Python 2.7 - 3.x com
Solicitações e
Belo grupo

Instalação

Execute o arquivo de configuração: $ python setup.py install .
Feito!

Uso

Como biblioteca:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

Como um script da CLI:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Outras versões

• assassinato assíncrono uma implementação assíncrona muito legal, escrita por @soxoj