learning_spider

Introdução

Este projeto é dividido principalmente em três partes

• Casos de rastreamento rastejam dados de alguns sites e marquem a dificuldade e os pontos -chave.
• Site da web http://learnspider.evilreclose.top/
  Com base na experiência de contratra
• Ferramentas auxiliares/fabricação de scripts Tente fazer várias ferramentas/scripts

Conteúdo concluído - Progresso atual estimado em 5%

Caso

Dificuldade	contente	Informação	Caminho	dificuldade
Base	Uso simples de várias bibliotecas	Método de uso básico	Veja a demonstração de redação de documentos
começando	Maoyan Movie Rankings Top 100	Páginas da Web estática	Solicitações
	Página de pesquisa do Amazon China Mall	Páginas da Web estática	Solicitações
	Resultados de pesquisa de manchete de hoje	Páginas dinâmicas da web	Solicitações
	Informações dinâmicas do usuário móvel weibo	Páginas dinâmicas da web	Solicitações	Localização do parâmetro desde_ID
	Bilibili Observer vê o mesmo índice	Páginas dinâmicas da web	Solicitações	Restauração de dados exponenciais compactados
	O código de verificação mais fácil do controle deslizante	Páginas dinâmicas da web	Selênio	Movimento deslizante
Simples	Método de criptografia de senha de um determinado roteador	Arquivo JS único		Procurando funções de criptografia
	Processamento de depurador ilimitado	Páginas dinâmicas da web	Reeres	Anti-debugação
	Aaencode Decripção	Páginas dinâmicas da web	Devtool	Codificação de criptografia
	Elemento css	Páginas da Web estática	Pyppeteer	Restaurar o pedido do elemento
	CSS pseudo-classe anti-ratheing	Páginas da Web estática	Solicitações	Restaure o conteúdo da pseudo-classe
	58.com Apartamento da marca	Páginas da Web estática	Solicitações	Criptografia de fonte estática
	Estudo de impressão digital de Anjuke	Arquivo JS único	Devtool	Pesquise e compreenda o significado das informações coletadas
geralmente	Informações do artigo Zhihu	Páginas dinâmicas da web	Solicitações	Cabeçalho `X-ZSE-86` Parâmetros de criptografia anti-devidação baseada no tempo
	China_CN Processamento de criptografia de fontes	Páginas dinâmicas da web	fonttool	Processamento dinâmico de criptografia de fontes
	Baidu Ofuscated Code Processing	Arquivo JS único	@bebel	Escrevendo vários plug-ins de restauração
	Acelerar o processamento do código de ofuscação	Bloqueando os cookies de configurações	@bebel	OB OBFUSCATED CODE RESTORAÇÃO
Difícil	Carbosynch captura uma imagem	Impressão digital simples TLS	Modificar a configuração padrão do componente de segurança	Entenda TLS

Site de prática básica

Site URL (gravado): http://learnspider.evilreclose.top/

Caso

tipo	Dificuldade	nome	Informação
Verificação deslizante	começando	A verificação mais fácil do controle deslizante	Basta arrastar o controle deslizante e deslizar para o final e você pode passar, sem nenhuma detecção
	Simples	Slidercaptcha	Configurações padrão são implantadas, existe verificação básica de máquina-máquina, puxão de velocidade constante/puxão linear não passará a verificação
CSS anti-rastreamento	começando	Posicionamento absoluto rastreador reverso	Usando as características do posicionamento absoluto, após dispersar os dados em HTML, a visualização é restaurada através de coordenadas
	Simples	Pseudo-crash	Usando as características do conteúdo da pseudo-classe que pode exibir dados, exibir alguns dados no conteúdo
	geralmente	REST ENCRIPÇÃO DE FONT	Deixe algum texto unicode usar a análise de fontes personalizadas, para que as pessoas que usam análise de unicode padrão não possam escalar os dados e a fonte não mudará durante um único processo de acesso.
JS Anti-Rastreio	começando	Anti-debugação	Use startup cronometrado/depurador de pescoço para manter o navegador em um estado de depuração que não pode ser saído
	Simples	Desativar a depuração	O código de escrita proíbe a abertura do console do navegador
	Simples	Aaencode	Substitua personagens comuns por personagens emoticon, dificultando a leitura
	Simples	Jsfuck	Substitua os personagens mais comuns por vários personagens básicos, dificultando a leitura
Criptografia de dados	geralmente	Criptografia simétrica AES	Criptografar os dados transmitidos
	geralmente	Criptografia de tabela de código base64 personalizada	Criptografar os dados transmitidos
Impressão digital rastreando reverso	Simples	O reconhecimento mais fácil de selênio	Verifique para criar automaticamente duas variáveis

Aplicação técnica

	usar	Informação
especificação	DESCANSAR	API padrão, resposta padrão
CDN	bootcdn.cn	Serviço de aceleração de CDN de código aberto de front-end gratuito
front-end	JQuery 2.2.4	Uma estrutura JavaScript rápida e concisa
	Materializar	Estrutura responsiva do front-end com base no design de material
	Twitter-Bootstrap 3.4.1	Um kit de ferramentas de código aberto para o desenvolvimento do front-end pelo Twitter
	Fonte de 4,7.0	Conjunto de Icon Font Library e CSS Framework
	Metismenu 3.0.6	Plug-in de menu de colapso de baunilha-js
Servidor proxy	nginx	Servidor de proxy reverso de alto desempenho http/reverso
Servidor da web	uwsgi	Um servidor da web
extremidade traseira	Flask 1.1.2	Python Lightweight Web Framework
	Restado de balão 0.3.8	Um plugin de frasco que suporta a rápida criação de APIs de descanso

Ferramentas/fabricação de scripts

Ferramentas/fabricação de scripts
contente	Informação
Auto DL Chromewebdriver	No Windows, faça o download automaticamente do script Selenium Chromewebdriver para obter informações da versão Chrome do registro e baixar a versão mais consistente do driver da web do Google, para que o Selenium possa ser executado normalmente. (De fato, é mais recomendado implantar o Docker no servidor, puxar a imagem de Selenium e depois implantar e chamá -la remotamente)
Slother	Uma camada é encapsulada no selênio para lidar com problemas comuns que você encontrará ao usar o selênio para rastejar
@Babel/Traverse API Document	O conteúdo dos documentos da API Babel/Traverse e casos de uso escrito por si só foi transferido para outro armazém. Como o funcionário da Babel não fornece documentos de Babel/Traverse, ele só pode gravar o conteúdo e entender/escrevê -lo por si só com base no conteúdo do código -fonte. Pode haver erros. Por favor, corrija isso.
Detetive de criptografia de fonte	Script de criptografia DeFont com base no OCR

PENDÊNCIA

• Complete o conteúdo do Login 3DM
• Reconstrua a plataforma de prática
• Melhore o plug -in Babel

7 de novembro de 2021