Search Engines Scraper

search_engines

Google、Bing、Yahoo、その他の検索エンジンを照会し、複数の検索エンジン結果ページから結果を収集するPythonライブラリ。
Webスクレイピングは、一部の検索エンジンのTOSに反している可能性があり、一時的な禁止が発生する可能性があることに注意してください。

サポートされている検索エンジン

グーグル
ビング
Yahoo
duckduckgo
startpage
aol
ドッグパイル
聞く
モヒーク
勇敢な
トーチ

特徴

• 出力ファイル（HTML、CSV、JSON）を作成します。
• 検索フィルター（URL、タイトル、テキスト）をサポートします。
• HTTPおよびソックスプロキシサポート。
• トーチで暗いWebリンクを収集します。
• 新しい検索エンジンを簡単に追加できます。 search_engines/engines/に新しいクラスを作成し、 search_engines/engines/__init__.pyのsearch_engines_dict辞書に追加することで、新しいエンジンを追加できます。新しいクラスは、 SearchEngineをサブクラス化し、次の方法をオーバーライドする必要があります： _selectors 、 _first_page 、 _next_page 。
• python2 -python3互換。

要件

Python 2.7-3.x with
リクエストと
BeautifulSoup

インストール

セットアップファイルを実行します： $ python setup.py install 。
終わり！

使用法

ライブラリとして：

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

CLIスクリプトとして：

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

他のバージョン

• async-search-scraper @soxojによって書かれた、本当にクールな非同期実装