Deepminer
1.0.0
A automação do processo de rastejar pela Web Deep e a busca de termos -chave ou nomes de domínio seria uma ferramenta valiosa para qualquer testador, pesquisador ou equipe de segurança de TI. Essa estrutura precisaria ser simples de usar e capaz de executar continuamente. Além disso, os resultados precisariam ser significativos e fáceis para o usuário entender.
Para resolver esse problema, desenvolvi uma ferramenta profunda de rastreamento da web chamada DeepMiner, que permite uma pesquisa fácil para ajudar os usuários a identificar quaisquer resultados. DeepMiner puxa sites de cebola de recursos conhecidos e pesquisas usando qualquer HTML extraído. O DeepMiner é executado de forma contínua e indefinida para garantir que o banco de dados seja atualizado. Nomes de sites, diretórios, HTML e sites conectados são salvos em um arquivo de banco de dados SQLite, onde os usuários podem analisar os resultados.
O DeepMiner é escrito usando o Python 3 e testado no Ubuntu 20.04. As pesquisas são realizadas usando a extensão SQLITE FTS5, para pesquisas completas de texto e regex. Para facilitar a pesquisa, os usuários podem usar o navegador SQLite DB para uma interface gráfica.
git
Python 3
Pip3
Tor
Tela
Pysocks
Em uma nova instalação do Ubuntu 20.04, execute os seguintes comandos
sudo apt install git
sudo apt install python3-pip
pip3 install pysocks
sudo apt install tor
sudo apt install screen
git clone https://github.com/Conso1eCowb0y/Deepminer
cd Deepminer
sudo python3 deepminer.py
Para instalar o navegador SQLite DB, execute o seguinte comando:
sudo apt install sqlitebrowser
