Krawler

Krawler : Python의 멀티 스레드 웹 크롤러

파이썬에서 간단한 웹 크롤러 구현. 크롤러는 완전히 멀티 스레드이며 주어진 도메인 이름의 웹을 기어 다니는 데 사용될 수 있습니다.

시 설치

시작하려면시를 설치해야합니다. 쉘에서 다음 명령을 실행하여시를 설치할 수 있습니다.

pip install poetry

설치가 완료되면이 저장소의 루트 폴더의 쉘에서 다음 명령을 실행하여 종속성을 설치하고 프로젝트의 가상 환경을 만듭니다.

poetry install

그 후,시 쉘 명령을 호출하여시 환경에 들어갑니다.

poetry shell

시스템 종속성 설치

데비안 기반 시스템을 사용하는 경우 다음 명령을 실행하여 시스템 전체 종속성을 설치할 수 있습니다.

sudo apt-get install python3-bs4 libnss-resolve nscd

크롤러를 실행합니다

크롤러를 실행하려면 다음 명령을 사용할 수 있습니다.

 pushd src && python3 main.py --domain < domain_name > --threads < number_of_threads > --output < output_file > && popd 

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.