fetchurls

Fetchurls

Um script bash para aranha um site, siga os links e busca URLs (com filtragem embutida) em um arquivo de texto gerado.

Uso

1. Faça o download do script e salve no local desejado em sua máquina.

2. Você precisará wget instalado em sua máquina.

   Para verificar se já está instalado, tente executar o comando wget por si só.

   Se você está em um Mac ou em execução Linux, é provável que você já tenha instalado o WGET; No entanto, se o comando wget não estiver funcionando, ele poderá não ser adicionado corretamente à sua variável de caminho.

   Se você estiver executando o Windows:

   1. Faça o download do último binário wget para Windows em https://eternallybored.org/misc/wget/

      O download está disponível como um zip com documentação ou apenas um exe. Eu recomendo apenas o exe.

   2. Se você baixou o ZIP, extraia tudo (se o Windows incorporado em Zip Utility der um erro, use 7-ZIP). Além disso, se você baixou a versão de 64 bits, renomeie o arquivo wget64.exe para wget.exe

   3. Mova wget.exe para C:WindowsSystem32

3. Verifique se a versão do grep no seu computador suporta -E, --extended-regexp . Para verificar o suporte, execute grep --help e procure o sinalizador. Para verificar a versão instalada, execute grep -V .

4. Open Git Bash, Terminal, etc. e defina permissões de execução para o script fetchurls.sh :

   chmod +x /path/to/script/fetchurls.sh

5. Digite o seguinte para executar o script:

   ./fetchurls.sh [OPTIONS]...

   Como alternativa, você pode executar com um dos seguintes seguintes:

   sh ./fetchurls.sh [OPTIONS]...
   
   # -- OR -- #
   
   bash ./fetchurls.sh [OPTIONS]...

Se você não passar nenhuma opção, o script será executado no modo interativo.

Se o URL do domínio exigir autenticação, você deverá passar o nome de usuário e a senha como sinalizadores; Você não é solicitado a esses valores no modo interativo.

Opções

Você pode passar opções (como sinalizadores) diretamente para o script ou não passar nada para executar o script no modo interativo.

domínio

• Uso: -d , --domain
• Exemplo: https://example.com

O URL de domínio totalmente qualificado (com protocolo) que você gostaria de rastejar.

Certifique -se de inserir o protocolo correto (por exemplo, https ) e subdomínio para o URL ou o arquivo gerado pode estar vazio ou incompleto. O script tentará automaticamente seguir o primeiro redirecionamento HTTP, se encontrado. Por exemplo, se você inserir o protocolo incorreto ( http://... ) para https://www.adamdehaven.com , o script seguirá automaticamente o redirecionamento e buscará todos os URLs para o protocolo HTTPS correto.

Os URLs do domínio serão apagados com sucesso, desde que o URL alvo (ou o primeiro redirecionamento) retorne um status de HTTP 200 OK .

localização

• Uso: -l , --location
• Padrão: ~/Desktop
• Exemplo: /c/Users/username/Desktop

O local (diretório), onde você gostaria de salvar os resultados gerados.

Se o diretório não existir no local especificado, desde que o restante do caminho seja válido, o novo diretório será criado automaticamente.

nome do arquivo

• Uso: -f , --filename
• Padrão: domain-topleveldomain
• Exemplo: example-com

O nome desejado do arquivo gerado, sem espaços ou extensão de arquivo.

excluir

• Uso: -e , --exclude
• Padrão: consulte a lista padrão de extensões de arquivo excluídas
• Exemplo: "css|js|map"

Lista delimitada por tubos de extensões de arquivo para excluir dos resultados.

Para evitar a exclusão de arquivos que correspondam à lista padrão de extensões de arquivo, basta passar uma string vazia ""

dormir

• Uso: -s , --sleep
• Padrão: 0
• Exemplo: 2

O número de segundos para esperar entre as recuperações.

nome de usuário

• Uso: -u , --username
• Exemplo: marty_mcfly

Se o URL do domínio exigir autenticação, o nome de usuário passa para o comando wget.

Se o nome de usuário contiver caracteres espaciais, você deverá passar por dentro. Este valor pode ser definido apenas com um sinalizador; Não há prompt no modo interativo.

senha

• Uso: -p , --password
• Exemplo: thats_heavy

Se o URL do domínio exigir autenticação, a senha passa para o comando wget.

Se a senha contiver caracteres espaciais, você deverá passar por dentro. Este valor pode ser definido apenas com um sinalizador; Não há prompt no modo interativo.

não interativo

• Uso: -n , --non-interactive

Permite que o script seja executado com sucesso em um shell não interativo.

O script utilizará as configurações padrão --location e --filename a menos que os respectivos sinalizadores estejam explicitamente definidos.

ignorar robôs

• Uso: -i , --ignore-robots

Ignore robots.txt para o domínio.

wget

• Uso: -w , --wget

Mostre as instruções de instalação do WGA. As instruções de instalação podem variar dependendo da configuração do seu computador.

versão

• Uso: -v , -V , --version

Mostrar informações da versão.

solução de problemas

• Uso: -t , --troubleshooting

Saídas receberam sinalizadores de opções com seus valores associados em tempo de execução para solução de problemas.

ajuda

• Uso: -h , -? , --help

Mostre o conteúdo da ajuda.

Modo interativo

Se você não passar o sinalizador -domínio, o script será executado no modo interativo e você será solicitado pelas opções não definidas.

Primeiro, você será solicitado a inserir o URL completo (incluindo o protocolo HTTPS/HTTP) do site que você gostaria de rastejar:

Fetch a list of unique URLs for a domain.

Enter the full domain URL ( http://example.com )
Domain URL:

Você será solicitado a entrar no local (diretório) de onde deseja que os resultados gerados fossem salvos (padrões na área de trabalho no Windows):

Save file to directory
Directory: /c/Users/username/Desktop

Em seguida, você será solicitado a alterar/aceitar o nome do arquivo gerado (basta pressionar Enter para aceitar o nome do arquivo padrão):

Save file as
Filename (no file extension, and no spaces): example-com

Por fim, você será solicitado a alterar/aceitar a lista padrão de extensões de arquivo excluídas (pressione Enter para aceitar a lista padrão):

Exclude files with matching extensions
Excluded extensions: bmp | css | doc | docx | gif | jpeg | jpg | JPG | js | map | pdf | PDF | png | ppt | pptx | svg | ts | txt | xls | xlsx | xml

O script rastejará o site e compilará uma lista de URLs válidos em um novo arquivo de texto. Quando concluído, o script mostrará uma mensagem e a localização do arquivo gerado:

Fetching URLs for example.com

Finished with 1 result !

File Location:
/c/Users/username/Desktop/example-com.txt

Se já existir um arquivo com o mesmo nome no local (por exemplo, se você anteriormente executou o script para o mesmo URL), o arquivo original será substituído .

Arquivos e diretórios excluídos

O script, por padrão, filtra muitas extensões de arquivo que geralmente não são necessárias.

A lista de extensões de arquivo pode ser passada pelo sinalizador --exclude , ou fornecido pelo modo interativo.

Arquivos excluídos

• .bmp
• .css
• .doc
• .docx
• .gif
• .jpeg
• .jpg
• .JPG
• .js
• .map
• .pdf
• .PDF
• .png
• .ppt
• .pptx
• .svg
• .ts
• .txt
• .xls
• .xlsx
• .xml

Diretórios excluídos

Além disso, arquivos e diretórios do site específicos (incluindo WordPress) também são ignorados.

• /wp-content/uploads/
• /feed/
• /category/
• /tag/
• /page/
• /widgets.php/
• /wp-json/
• xmlrpc

Uso avançado

O script deve filtrar a maioria dos tipos e diretórios indesejados de arquivos; No entanto, você pode editar as expressões regulares que filtram certas páginas, diretórios e tipos de arquivos editando a função fetchUrlsForDomain() dentro do arquivo fetchurls.sh .

Aviso : se você não estiver familiarizado com as expressões Grep ou regular, poderá interromper facilmente o script.