Search Engines Scraper

search_engines

Google, Bing, Yahoo 및 기타 검색 엔진을 쿼리하고 여러 검색 엔진 결과 페이지에서 결과를 수집하는 Python 라이브러리.
웹 스크래핑은 일부 검색 엔진의 TOS에 위배 될 수 있으며 일시적인 금지가 발생할 수 있습니다.

지원되는 검색 엔진

Google
빙
야후
Duckduckgo
시작 페이지
AOL
Dogpile
묻다
모조크
용감한
토치

특징

• 출력 파일 (HTML, CSV, JSON)을 만듭니다.
• 검색 필터 (URL, 제목, 텍스트)를 지원합니다.
• HTTP 및 양말 프록시 지원.
• 토치와 어두운 웹 링크를 수집합니다.
• 새로운 검색 엔진을 쉽게 추가 할 수 있습니다. search_engines/engines/ 에서 새 클래스를 생성하여 새 엔진을 추가하고 search_engines/engines/__init__.py 의 search_engines_dict Dictionary에 추가 할 수 있습니다. 새 클래스는 SearchEngine 서브 클래스하고 다음 방법을 무시해야합니다. _selectors , _first_page , _next_page .
• Python2- Python3 호환.

요구 사항

Python 2.7-3.x
요청 및
BeautifulSoup

설치

설정 파일 : $ python setup.py install 실행하십시오.
완료!

용법

도서관 :

 from search_engines import Google

engine = Google()
results = engine.search("my query")
links = results.links()

print(links)

CLI 스크립트로 :

 $ python search_engines_cli.py -e google,bing -q "my query" -o json,print

다른 버전

• Async-search-scraper @soxoj가 작성한 정말 멋진 비동기 구현