Search Engines Scraper

search_engines

一個查詢Google，Bing，Yahoo和其他搜索引擎的Python庫，並從多個搜索引擎結果頁面中收集結果。
請注意，網絡剪接可能與某些搜索引擎的TO相反，並可能導致臨時禁令。

支持的搜索引擎

Google
bing
雅虎
達克達克戈
startpage
AOL
狗狗
問
莫吉克
勇敢的
火炬

特徵

• 創建輸出文件（HTML，CSV，JSON）。
• 支持搜索過濾器（URL，標題，文本）。
• HTTP和襪子代理支持。
• 用火炬收集黑暗的網絡鏈接。
• 易於添加新的搜索引擎。您可以通過在search_engines/engines/中創建新的類來添加新引擎，並將其添加到search_engines_dict dictionary中的search_engines/engines/__init__.py中。新類應為SearchEngine ，並覆蓋以下方法： _selectors ， _first_page ， _next_page 。
• Python2 -Python3兼容。

要求

python 2.7-3.x with
請求和
美麗的人

安裝

運行設置文件： $ python setup.py install 。
完畢！

用法

作為圖書館：

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

作為CLI腳本：

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

其他版本

• 異步搜索 - 造型是一個非常酷的異步實現，由@soxoj撰寫