learning_spider

Einführung

Dieses Projekt ist hauptsächlich in drei Teile unterteilt

• Crawling -Fälle kriechen Daten von einigen Websites und markieren die Schwierigkeit und die wichtigsten Punkte.
• Website http://learnspider.evilreclose.top/
  Versuchen Sie auf der Grundlage der Erfahrung des Gegenkriechens, zugreifen und schreiben Sie verschiedene Krabbel-Hindernisse und studieren Sie übrigens Front-End-/Back-End/Server-Kenntnisse
• Auxiliary Tools/Skript Manufacturing versuchen, verschiedene Tools/Skripte zu erstellen

Abgeschlossener Inhalt - Der aktuelle Fortschritt wurde auf 5% geschätzt

Fall

Schwierigkeit	Inhalt	Information	Weg	Schwierigkeit
Base	Einfache Verwendung verschiedener Bibliotheken	Grundnutzungsmethode	Dokument schreiben, die Demo schreiben
Erste Schritte	Maoyan Movie Rankings Top 100	Statische Webseiten	Anfragen
	Amazon China Mall Suchseite	Statische Webseiten	Anfragen
	Die heutigen Schlagzeilen -Suchergebnisse	Dynamische Webseiten	Anfragen
	Wibo mobile Benutzerdynamische Informationen	Dynamische Webseiten	Anfragen	Ort des Parameters seit dem ad_id
	Bilibili Observer sieht den gleichen Index	Dynamische Webseiten	Anfragen	Wiederherstellung komprimierter Exponentialdaten
	Der einfachste Slider -Überprüfungscode	Dynamische Webseiten	Selen	Schiebereglerbewegung
Einfach	Passwortverschlüsselungsmethode eines bestimmten Routers	Single JS -Datei		Auf der Suche nach Verschlüsselungsfunktionen
	Unbegrenzte Debugger -Verarbeitung	Dynamische Webseiten	Erneut	Anti-Debugging
	Aaencode entschlüsselt	Dynamische Webseiten	Devtool	Verschlüsselung codieren
	CSS -Element Absolute Positionierung Reverse Crawling	Statische Webseiten	Pyppeteer	Elementreihenfolge wiederherstellen
	CSS Pseudo-Klasse Anti-Crawling	Statische Webseiten	Anfragen	Stellen Sie den Inhalt der Pseudoklasse wieder her
	58.com Brand Apartment	Statische Webseiten	Anfragen	Statische Schriftverschlüsselung
	Anjuke -Fingerabdruckstudie	Single JS -Datei	Devtool	Erforschen und verstehen Sie die Bedeutung von gesammelten Informationen
allgemein	Zhihu -Artikelinformationen	Dynamische Webseiten	Anfragen	Header `X-Zse-86` Parameterverschlüsselungszeitbasis Anti-Debugging
	China_cn Schriftverschlüsselungsverarbeitung	Dynamische Webseiten	fonttool	Dynamische Schriftverschlüsselungsverarbeitung
	Baidu verschleierte die Codeverarbeitung	Single JS -Datei	@bebel	Schreiben Sie verschiedene Wiederherstellungs-Plug-Ins
	Beschleunigung der Verarbeitung der Verschleierung Code beschleunigen	Blockieren von Keksen blockieren	@bebel	OB verschleierte Code -Wiederherstellung
Schwierig	Carbosynch erfasst ein Bild	Einfacher TLS -Fingerabdruck	Ändern Sie die Konfiguration der Standardsicherheitskomponenten	TLS verstehen

Grundlage für die Grundlage von Praxis

Website -URL (aufgezeichnet): http://learnspider.evilreclose.top/

Fall

Typ	Schwierigkeit	Name	Information
Überprüfung der Schieberegler	Erste Schritte	Die einfachste Überprüfung der Schieberegler	Ziehen Sie einfach den Schieber
	Einfach	Slidercaptcha	Die Standardeinstellungen werden eingesetzt, eine grundlegende Überprüfung der menschlichen Maschinen, konstanter Geschwindigkeitszug/linearer Zug besteht nicht über die Überprüfung
CSS Anti-Crawl	Erste Schritte	Absolute Positioning Reverse Crawling	Unter Verwendung der Eigenschaften der absoluten Positionierung wird nach der Verbreitung der Daten in HTML die Ansicht durch Koordinaten wiederhergestellt
	Einfach	Pseudo-Crash	Verwenden der Eigenschaften des Inhalts der Pseudoklasse, mit denen Daten angezeigt werden können, werden einige Daten in Inhalten angezeigt
	allgemein	REST -Schriftverschlüsselung	Lassen Sie einige Unicode -Texte eine benutzerdefinierte Schriftart analysieren, damit Personen, die Standard -Unicode -Parsen verwenden, die Daten nicht besteigen können und die Schriftart nicht während eines einzelnen Zugriffsprozesses ändert.
JS Anti-Crawl	Erste Schritte	Anti-Debugging	Verwenden Sie zeitgesteuerte Startup/Nacken -Debugger, um den Browser in einem Debug -Zustand zu halten, der nicht beendet werden kann
	Einfach	Deaktivieren Sie das Debuggen	Das Schreiben des Codes verbietet das Öffnen der Browserkonsole
	Einfach	Aaencode	Ersetzen Sie gemeinsame Charaktere durch Emoticon -Charaktere und machen es schwierig zu lesen
	Einfach	JSFUCK	Ersetzen Sie die meisten gängigen Zeichen durch mehrere grundlegende Zeichen, was es schwierig macht, das Lesen zu lesen
Datenverschlüsselung	allgemein	AES Symmetrische Verschlüsselung	Verschlüsseln Sie die übertragenen Daten
	allgemein	Benutzerdefinierte Basis64 -Code -Tabelle Verschlüsselung	Verschlüsseln Sie die übertragenen Daten
Fingerabdruck Reverse Crawling	Einfach	Die einfachste Selenerkennung	Überprüfen Sie, ob Sie automatisch zwei Variablen erstellen können

Technische Anwendung

	verwenden	Information
Spezifikation	AUSRUHEN	Standard -API, Standardantwort
CDN	Bootcdn.cn	Kostenloser Front-End-Open-Source-Projekt CDN Acceleration Service
Frontend	JQuery 2.2.4	Ein schnelles und prägnantes JavaScript -Framework
	Materialisieren	Front-End Responsive Framework basierend auf Materialdesign basiert
	Twitter-Bootstrap 3.4.1	Ein Open-Source-Toolkit für die Front-End-Entwicklung durch Twitter
	Schriftart 4.7.0	Satz von Symbollbibliothek und CSS -Framework
	Metmenu 3.0.6	Vanilla-Js Collapse-Menü Plug-In
Proxy -Server	nginx	Hochleistungs-HTTP/Reverse-Proxy-Server
Webserver	UWSGI	Ein Webserver
hinteres Ende	Flask 1.1.2	Python Lightweight Web Framework
	Flask-restful 0.3.8	Ein Flask -Plugin, das die schnelle Erstellung von REST -APIs unterstützt

Tools/Skriptherstellung

Tools/Skriptherstellung
Inhalt	Information
Auto DL ChromeWebdriver	Laden Sie in Windows automatisch das Skript selenium ChromeWebriver herunter, um Chrome -Versionsinformationen aus der Registrierung abzurufen, und laden Sie die konsequenteste Version des Web -Treibers von Google herunter, damit Selenium normal ausgeführt werden kann. (Tatsächlich wird empfohlen, Docker auf dem Server bereitzustellen, das Image von Selenium zu ziehen und es dann bereitzustellen und remote aufzurufen.)
Schwärmen	Eine Schicht wird auf Selen in Selen eingekapselt, um mit häufigen Problemen umzugehen, auf die Sie bei der Verwendung von Selen zum Kriechen verwenden werden
@Babel/Traverse -API -Dokument	Der Inhalt von Babel/Traverse -API -Dokumenten und Anwendungsfällen wurde in ein anderes Lagerhaus übertragen. Da Babel -Beamter keine Babel/Traverse -Dokumente anbietet, kann er den Inhalt nur aufzeichnen und basierend auf dem Quellcode -Inhalt selbst verstehen/schreiben. Es kann Fehler geben. Bitte korrigieren Sie es.
Schriftverschlüsselungsdetektiv	Defekt -Verschlüsselungsskript basierend auf OCR

Todo

• Vervollständigen Sie den Inhalt des 3DM -Logins
• Rekonstruieren die Praxisplattform
• Verbessern Sie das Babel -Plugin

7. November 2021