Search Engines Scraper

search_engines

Библиотека Python, которая запрашивает Google, Bing, Yahoo и другие поисковые системы и собирает результаты из нескольких страниц результатов поисковой системы.
Обратите внимание, что скрепировка веб-сайта может быть против TOS некоторых поисковых систем и может привести к временному запрету.

Поддерживаемые поисковые системы

Google
Бинг
Yahoo
Duckduckgo
СТАРТАЦИЯ
Аол
Собака
Просить
Мохик
Храбрый
Факел

Функции

• Создает выходные файлы (HTML, CSV, JSON).
• Поддерживает поисковые фильтры (URL, заголовок, текст).
• HTTP и Socks Proxy Support.
• Собирает темные веб -ссылки с факелом.
• Легко добавить новые поисковые системы. Вы можете добавить новый двигатель, создав новый класс в search_engines/engines/ и добавить его в словарь search_engines_dict в search_engines/engines/__init__.py . Новый класс должен подкласс SearchEngine и переопределять следующие методы: _selectors , _first_page , _next_page .
• Python2 - Python3 совместим.

Требования

Python 2.7 - 3.x с
Запросы и
BeautifulSoup

Установка

Запустите файл настройки: $ python setup.py install .
Сделанный!

Использование

Как библиотека:

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

Как сценарий CLI:

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

Другие версии

• Async-Search-Scraper-действительно классная асинхронная реализация, написанная @soxoj