Deepminer

심해

깊은 웹 데이터 미닝 및 검색 도구

딥 웹을 통해 크롤링하고 핵심 용어 또는 도메인 이름을 검색하는 프로세스의 자동화는 테스터, 연구원 또는 IT 보안 팀에게 유용한 도구입니다. 이 프레임 워크는 사용하기 쉽고 지속적으로 실행할 수 있어야합니다. 또한 사용자가 이해하려면 결과가 의미 있고 쉽게 필요합니다.

이 문제를 해결하기 위해 DeepMiner라는 딥 웹 크롤링 도구를 개발하여 사용자가 결과를 쉽게 식별 할 수 있도록 쉽게 검색 할 수 있습니다. DeepMiner는 추출 된 HTML을 사용하여 잘 알려진 자원과 검색에서 양파 사이트를 끌어냅니다. DeepMiner는 데이터베이스가 업데이트되도록 지속적이고 무기한으로 실행됩니다. 사이트 이름, 디렉토리, HTML 및 연결된 사이트는 사용자가 결과를 분석 할 수있는 SQLITE 데이터베이스 파일에 저장됩니다.

구현

DeepMiner는 Python 3을 사용하여 작성되었으며 Ubuntu 20.04에서 테스트되었습니다. 검색은 전체 텍스트 및 Regex 검색 모두에 대해 SQLITE FTS5 확장자를 사용하여 수행됩니다. 검색을 쉽게하기 위해 사용자는 그래픽 인터페이스에 SQLITE DB 브라우저를 사용할 수 있습니다.

요구 사항

git

파이썬 3

PIP3

토르

화면

Pysocks

설치

Ubuntu 20.04의 새로운 설치에서 다음 명령을 실행하십시오.

1.  sudo apt install git
   

2.  sudo apt install python3-pip
   

3.  pip3 install pysocks
   

4.  sudo apt install tor
   

5.  sudo apt install screen
   

6.  git clone https://github.com/Conso1eCowb0y/Deepminer
   

7.  cd Deepminer
   

8.  sudo python3 deepminer.py
   

9. sqlite db 브라우저를 설치하려면 다음 명령을 실행하십시오.

    sudo apt install sqlitebrowser
   

TODO

• 멀티 스레딩
• Kivy 기반 검색 GUI