Darkweb search engine

Nexvision 검색 엔진

특징

• 새로운 숨겨진 서비스를 찾고있는 Darknet을 크롤링합니다
• 여러 명확한 순 소스에서 숨겨진 서비스 찾기
• 선택적인 전체 텍스트 elasticsearch 지원
• /r /darknet 슈퍼리스트의 클론 사이트를 표시합니다
• 숨겨진 서비스에서 SSH 지문을 찾습니다
• 숨겨진 서비스에서 이메일 주소를 찾습니다
• 숨겨진 서비스에서 비트 코인 주소를 찾습니다
• 양파 영역에 대한 들어오는 / 나가는 링크를 보여줍니다
• 최신 생물/죽은 숨겨진 서비스 상태
• 포트 스카너
• "흥미로운"URL 경로, 유용한 404 감지를 검색하십시오
• 자동 언어 탐지
• 퍼지 클론 감지 (엘라스틱 검색이 필요하고 슈퍼리스트 클론 감지보다 고급)

구성 요소

Elasticsearch

Elasticsearch 클러스터는 HA 및로드 밸런싱을위한 2 개의 Elasticsearch 인스턴스로 구성됩니다. 폐기 된 페이지 데이터가 저장되고 검색됩니다.

키바나

포트 5601에서 실행되며 Elasticsearch에서 데이터를 확인하는 데 사용할 수 있습니다.

웹 세대

도메인 검색 엔진 용 웹 인터페이스. 포트 7000에서 실행됩니다

MySQL

도메인, 페이지 URL, 비트 코인 주소 등을 저장합니다.

Tor 프록시

양파 페이지에 액세스하는 데 사용됩니다. 10 개의 프록시 컨테이너가 배포되어 있으며 Haproxy는 트래픽을 배포하는 데 사용됩니다.

스크레이퍼

MySQL DB, 수확 페이지 및 새 도메인에서 TOR 프록시를 통해 도메인 목록을 가져오고 Domains 및 Page 데이터를 Elasticsearch 및 MySQL에 저장합니다. Python Scrapy 프레임 워크를 기반으로합니다.

설치

프로젝트를 복제하고 Docker-Compose와 관련된 Docker 이미지를 작성하십시오.

 docker-compose build
docker-compose up -d

스크레이퍼를 만들고 실행하십시오.

 docker build --tag scraper_crawler ./

스크레이퍼를 실행하십시오.

 docker run -d --name darkweb-search-engine-onion-crawler --network=darkweb-search-engine_default scraper_crawler /opt/torscraper/scripts/start_onion_scrapy.sh

첫 배포 후 Elasticsearch에서 인덱스를 초기화해야합니다.

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/elasticsearch_migrate.sh

초기 도메인 목록을 가져옵니다

 docker exec darkweb-search-engine-onion-crawler /opt/torscraper/scripts/push_list.sh /opt/torscraper/onions_list/onions.txt &