Search Engines Scraper

search_engines

一个查询Google，Bing，Yahoo和其他搜索引擎的Python库，并从多个搜索引擎结果页面中收集结果。
请注意，网络剪接可能与某些搜索引擎的TO相反，并可能导致临时禁令。

支持的搜索引擎

谷歌
bing
雅虎
达克达克戈
startpage
AOL
狗狗
问
莫吉克
勇敢的
火炬

特征

• 创建输出文件（HTML，CSV，JSON）。
• 支持搜索过滤器（URL，标题，文本）。
• HTTP和袜子代理支持。
• 用火炬收集黑暗的网络链接。
• 易于添加新的搜索引擎。您可以通过在search_engines/engines/中创建新的类来添加新引擎，并将其添加到search_engines_dict dictionary中的search_engines/engines/__init__.py中。新类应为SearchEngine ，并覆盖以下方法： _selectors ， _first_page ， _next_page 。
• Python2 -Python3兼容。

要求

python 2.7-3.x with
请求和
美丽的人

安装

运行设置文件： $ python setup.py install 。
完毕！

用法

作为图书馆：

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

作为CLI脚本：

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

其他版本

• 异步搜索 - 造型是一个非常酷的异步实现，由@soxoj撰写