learning_spider

Introduction

Ce projet est principalement divisé en trois parties

• Les cas rampants rampent les données de certains sites Web et marquent la difficulté et les points clés.
• site Web http://learnspider.evilreclose.top/
  Sur la base de l'expérience de la contre-rampe, essayez d'accéder et d'écrire divers obstacles rampants et d'étudier les connaissances frontal / back-end / serveur au fait
• Outils auxiliaires / fabrication de script Essayez de fabriquer divers outils / scripts

Contenu terminé - progrès actuels estimés à 5%

Cas

Difficulté	contenu	information	Chemin	difficulté
Base	Utilisation simple de diverses bibliothèques	Méthode d'utilisation de base	Afficher la démo de la rédaction de documents
commencer	Classement de film maoyan top 100	Pages Web statiques	Demandes
	Page de recherche sur le centre commercial Amazon China	Pages Web statiques	Demandes
	Résultats de la recherche d'aujourd'hui	Pages Web dynamiques	Demandes
	Informations dynamiques de l'utilisateur mobile de Weibo	Pages Web dynamiques	Demandes	Emplacement du paramètre depuis_ID
	Bilibili Observer voit le même indice	Pages Web dynamiques	Demandes	Restaurer des données exponentielles compressées
	Le code de vérification du curseur le plus simple	Pages Web dynamiques	Sélénium	Se déplacer de curseur
Simple	Méthode de cryptage de mot de passe d'un certain routeur	Fichier js unique		À la recherche de fonctions de chiffrement
	Traitement de débogueur illimité	Pages Web dynamiques	Riposter	Anti-débugage
	Décryptage aaencode	Pages Web dynamiques	Devtool	Encodage de cryptage
	Élément CSS Positionnement absolu radical rampant	Pages Web statiques	pyppetteer	Restaurer l'ordre des éléments
	CSS Pseudo-classe anti-rampe	Pages Web statiques	Demandes	Restaurer le contenu de la classe pseudo
	58.com Appartement de marque	Pages Web statiques	Demandes	Cryptage de police statique
	Étude d'empreintes digitales Anjuke	Fichier js unique	Devtool	Rechercher et comprendre l'importance des informations collectées
en général	Informations sur l'article de Zhihu	Pages Web dynamiques	Demandes	En-tête `X-ZSE-86` CRYPTION DU TEMPS ANTI-DEBUGGE
	Traitement de chiffrement de la police en Chine_CN	Pages Web dynamiques	Fonttool	Traitement du chiffrement de la police dynamique
	Baidu Obfuscated Code Traitement	Fichier js unique	@bebel	Rédaction de divers plug-ins de restauration
	Accélérer le traitement du code d'obscuscation	Blocage des cookies paramètres	@bebel	OB Restauration de code obscurcie
Difficile	Carbosynch capture une image	Empreinte digitale simple	Modifier la configuration du composant de sécurité par défaut	Comprendre TLS

Site Web de pratique de base

URL du site Web (enregistré): http://learnspider.evilreclose.top/

Cas

taper	Difficulté	nom	information
Vérification des curseurs	commencer	La vérification la plus simple du curseur	Faites simplement glisser le curseur et glissez vers la fin et vous pouvez passer, sans aucune détection
	Simple	SliderCaptcha	Les paramètres par défaut sont déployés, une vérification de base de la machine humaine existe, une traction de vitesse constante / pull linéaire ne passera pas la vérification
CSS Anti-Crawl	commencer	Positionnement absolu inversé rampant	En utilisant les caractéristiques du positionnement absolu, après avoir dispersé les données en HTML, la vue est rétablie par des coordonnées
	Simple	Pseudo-crash	En utilisant les caractéristiques du contenu pseudo-classe qui peut afficher des données, afficher des données dans le contenu
	en général	Cryptage de la police de repos	Laissez un texte Unicode utiliser l'analyse de la police personnalisée, afin que les personnes qui utilisent l'analyse standard UNICODE ne puissent pas gravir les données et que la police ne changera pas pendant un seul processus d'accès.
JS Anti-Crawl	commencer	Anti-débugage	Utilisez le débogueur startup / cou à coude pour garder le navigateur dans un état de débogage qui ne peut pas être sorti
	Simple	Désactiver le débogage	L'écriture de code interdit l'ouverture de la console du navigateur
	Simple	Aaencode	Remplacez les personnages communs par des personnages d'émoticône, ce qui rend difficile la lecture
	Simple	Jsfuck	Remplacez les caractères les plus courants par plusieurs caractères de base, ce qui rend difficile la lecture
Chiffrement des données	en général	Cryptage symétrique AES	Crypter les données transmises
	en général	Cryptage de table de code Base64 personnalisé	Crypter les données transmises
Empreintes digitales radicales inversées	Simple	La reconnaissance la plus simple du sélénium	Vérifiez pour créer automatiquement deux variables

Application technique

	utiliser	information
spécification	REPOS	API standard, réponse standard
Monnaie	bootcdn.cn	Service d'accélération CDN Open Source Front Source gratuit
l'extrémité avant	JQuery 2.2.4	Un cadre JavaScript rapide et concis
	Se concrétiser	Cadre réactif frontal basé sur la conception des matériaux
	Twitter-bootstrap 3.4.1	Une boîte à outils open source pour le développement frontal par Twitter
	Font-Awesome 4.7.0	Ensemble de bibliothèque de polices d'icônes et de cadre CSS
	Métimisnu 3.0.6	Plug-in menu Vanilla-Js effondrer
Serveur proxy	nginx	Serveur proxy HTTP / Reverse performance haute performance
Serveur Web	uwsgi	Un serveur Web
extrémité arrière	Flash 1.1.2	Framework Web Python Lightweight
	Flash-Resche 0.3.8	Un plugin Flask qui prend en charge la création rapide des API REST

Fabrication d'outils / script

Fabrication d'outils / script
contenu	information
Auto DL Chromewebdriver	Dans Windows, téléchargez automatiquement le script Selenium ChromeWebdriver pour obtenir des informations de version Chrome du registre et téléchargez la version la plus cohérente de Web Driver de Google, afin que le sélénium puisse fonctionner normalement. (En fait, il est plus recommandé de déployer Docker sur le serveur, de tirer l'image de Selenium, puis de déployer et de l'appeler à distance)
Gamme	Une couche est encapsulée sur le sélénium pour faire face à des problèmes communs que vous rencontrerez lorsque vous utiliserez le sélénium pour ramper
Document API Babel / Traverse	Le contenu des documents API Babel / Traverse et des cas d'utilisation écrits par lui-même a été transféré dans un autre entrepôt. Étant donné que le responsable de Babel ne fournit pas de documents Babel / Traverse, il ne peut que l'enregistrer et le comprendre / l'écrire seul en fonction du contenu du code source. Il peut y avoir des erreurs. Veuillez le corriger.
Détective du cryptage de police	Défont script de cryptage basé sur l'OCR

FAIRE

• Complétez le contenu de la connexion 3DM
• Reconstruire la plate-forme de pratique
• Améliorer le plugin Babel

7 novembre 2021