learning_spider
1.0.0
Este proyecto se divide principalmente en tres partes.
| Dificultad | contenido | información | Forma | dificultad |
|---|---|---|---|---|
| Base | Uso simple de varias bibliotecas | Método de uso básico | Ver Demo de escritura de documentos | |
| empezando | Ranking de películas de Maoyan Top 100 | Páginas web estáticas | Solicitudes | |
| Página de búsqueda de Amazon China Mall | Páginas web estáticas | Solicitudes | ||
| Resultados de búsqueda de titulares de hoy | Páginas web dinámicas | Solicitudes | ||
| Información dinámica del usuario móvil de Weibo | Páginas web dinámicas | Solicitudes | Ubicación del parámetro FINE_ID | |
| Bilibili Observer ve el mismo índice | Páginas web dinámicas | Solicitudes | Restaurar datos exponenciales comprimidos | |
| El código de verificación deslizante más fácil | Páginas web dinámicas | Selenio | Movimiento deslizante | |
| Simple | Método de cifrado de contraseña de cierto enrutador | Archivo JS único | Buscando funciones de cifrado | |
| Procesamiento de depuradores ilimitado | Páginas web dinámicas | Ré | Anti-debuges | |
| Descifrado de aaencode | Páginas web dinámicas | Devool | Encriptación de codificación | |
| Elemento CSS Posicionamiento absoluto de rastreo inverso | Páginas web estáticas | pyppeteer | Restaurar orden de elementos | |
| Anti-rastreador de pseudo-clase CSS | Páginas web estáticas | Solicitudes | Restaurar contenido de pseudo-clase | |
| Apartamento de marca 58.com | Páginas web estáticas | Solicitudes | Cifrado de fuente estática | |
| Estudio de huellas digitales de Anjuke | Archivo JS único | Devool | Investigar y comprender la importancia de la información recopilada | |
| generalmente | Información del artículo de Zhihu | Páginas web dinámicas | Solicitudes | Encabezado `X-ZSE-86` Cifrado de parámetros anti-fondos de tiempo |
| Procesamiento de cifrado de fuentes de China_CN | Páginas web dinámicas | fonttool | Procesamiento de cifrado de fuente dinámica | |
| Baidu ofuscó el procesamiento del código | Archivo JS único | @Bebel | Escribir varios complementos de restauración | |
| Acelerar el procesamiento del código de ofuscación | Bloqueo de cookies de configuración | @Bebel | OB OB OBFUSHADA RESTAURACIÓN DEL CÓDIGO | |
| Difícil | Carbosynch captura una imagen | Huella digital TLS simple | Modificar la configuración de componente de seguridad predeterminada | Entender TLS |
URL del sitio web (grabado): http://learnspider.evilreclose.top/
| tipo | Dificultad | nombre | información |
|---|---|---|---|
| Verificación deslizante | empezando | La verificación del control deslizante más fácil | Simplemente arrastre el control deslizante y deslice hasta el final y puede pasar, sin ninguna detección |
| Simple | SliderCaptcha | Se implementan la configuración predeterminada, existe la verificación básica de la máquina humana, la extracción de velocidad constante/extracción lineal no pasará la verificación | |
| CSS Anti-Crawl | empezando | Posicionamiento absoluto Reverse de rastreo | Usando las características de posicionamiento absoluto, después de dispersar los datos en HTML, la vista se restaura a través de coordenadas |
| Simple | Pseudocrasa | Utilizando las características del contenido de pseudo-clase que puede mostrar datos, muestre algunos datos en contenido | |
| generalmente | Cifrado de fuentes de descanso | Deje que un texto de Unicode use el análisis de fuentes personalizados, para que las personas que usan el análisis de unicode estándar no puedan escalar los datos y la fuente no cambiará durante un solo proceso de acceso. | |
| JS Anti-Crawl | empezando | Anti-debuges | Use inicio cronometrado/depurador de cuello para mantener el navegador en un estado de depuración que no se puede salir |
| Simple | Deshabilitar la depuración | Escribir código prohíbe la apertura de la consola del navegador | |
| Simple | Aaencode | Reemplace los personajes comunes con personajes de emoticon, lo que dificulta leer | |
| Simple | Jsfuck | Reemplace los personajes más comunes con varios personajes básicos, lo que dificulta leer | |
| Cifrado de datos | generalmente | Cifrado simétrico AES | Cifrar los datos transmitidos |
| generalmente | Cifrado de tabla de código de base 64 personalizado | Cifrar los datos transmitidos | |
| Rastreo inverso de huellas digitales | Simple | El reconocimiento de selenio más fácil | Verifique automáticamente dos variables |
| usar | información | |
|---|---|---|
| especificación | DESCANSAR | API estándar, respuesta estándar |
| CDN | bootcdn.cn | Servicio gratuito de aceleración del proyecto de código abierto front-end CDN |
| Interfaz | JQuery 2.2.4 | Un marco de JavaScript rápido y conciso |
| Materializar | Marco de respuesta frontal basado en el diseño de materiales | |
| Twitter-Bootstrap 3.4.1 | Un conjunto de herramientas de código abierto para el desarrollo front-end por Twitter | |
| Font-Awesome 4.7.0 | Conjunto de biblioteca de fuentes de icono y marco CSS | |
| Metismenu 3.0.6 | Enchufe del menú de colapso de vainilla-js | |
| Servidor proxy | nginx | Servidor HTTP/reverso de alto rendimiento |
| Servidor web | Uwsgi | Un servidor web |
| extremo posterior | Frasco 1.1.2 | Marco web liviano de Python |
| Frasco-restaurante 0.3.8 | Un complemento frasco que admite la rápida creación de API REST |
| Herramientas/fabricación de scripts | |||
|---|---|---|---|
| contenido | información | ||
| Auto DL ChromeWebdriver | En Windows, descargue automáticamente el script Selenium ChromeWebdriver para obtener información de la versión Chrome del registro y descargue la versión más consistente del controlador web de Google, para que Selenium pueda ejecutarse normalmente. (De hecho, se recomienda implementar Docker en el servidor, extraer la imagen de Selenium y luego implementarlo y llamarlo de forma remota) | ||
| Desorden | Se encapsula una capa en selenio para lidiar con problemas comunes que encontrará cuando use selenio para gatear | ||
| @Documento de API de Babel/Traverse | El contenido de los documentos de la API y los casos de uso de Babel/Traverse escritos por sí mismo ha sido transferido a otro almacén. Dado que Babel Official no proporciona documentos Babel/Traverse, solo puede registrar el contenido y comprenderlo por sí solo en función del contenido del código fuente. Puede haber errores. Por favor corrígelo. | ||
| Detective de cifrado de fuente | Script de cifrado Defont basado en OCR | ||
7 de noviembre de 2021
