learning_spider

導入

このプロジェクトは、主に3つの部分に分割されています

• クロールするケースは、いくつかのWebサイトからのデータをcraう、難しさと重要なポイントをマークアウトします。
• Webサイトhttp://learnspider.evilreclose.top/
  カウンタークロールの経験に基づいて、さまざまなクロール障害物にアクセスして書き、フロントエンド/バックエンド/サーバーの知識を勉強してみてください。
• 補助ツール/スクリプト製造は、さまざまなツール/スクリプトを作成しようとします

完了したコンテンツ - 現在の進捗状況は5％と推定されています

場合

困難	コンテンツ	情報	方法	困難
ベース	さまざまなライブラリの単純な使用	基本的な使用方法	ドキュメントライティングデモを表示します
はじめる	Maoyan Movieランキングのトップ100	静的Webページ	リクエスト
	Amazon China Mall検索ページ	静的Webページ	リクエスト
	今日の見出し検索結果	動的なWebページ	リクエスト
	Weiboモバイルユーザーの動的情報	動的なWebページ	リクエスト	and_idパラメーターの場所
	Bilibili Observerは同じインデックスを見ます	動的なWebページ	リクエスト	圧縮指数データの復元
	最も簡単なスライダー検証コード	動的なWebページ	セレン	スライダーの動き
単純	特定のルーターのパスワード暗号化方法	単一のJSファイル		暗号化関数を探しています
	無制限のデバッガー処理	動的なWebページ	レレス	反bugging
	aaencode復号化	動的なWebページ	devtool	暗号化のエンコード
	CSS要素絶対的な位置決め逆クロール	静的Webページ	pyppeteer	要素の順序を復元します
	CSS擬似クラスアンチクロール	静的Webページ	リクエスト	擬似クラスコンテンツを復元します
	58.comブランドアパートメント	静的Webページ	リクエスト	静的フォント暗号化
	Anjuke指紋研究	単一のJSファイル	devtool	収集された情報の重要性を調査および理解します
一般的に	Zhihuの記事情報	動的なWebページ	リクエスト	ヘッダー `X-ZSE-86`パラメーター暗号化時間ベースの不動摂取
	China_CNフォント暗号化処理	動的なWebページ	fonttool	動的フォント暗号化処理
	Baiduはコード処理を難読化します	単一のJSファイル	@bebel	さまざまな復元プラグインを書きます
	難読化コード処理を加速します	ブロック設定クッキー	@bebel	ob観測コードの復元
難しい	Carbosynchは写真を撮影します	単純なTLS指紋	デフォルトのセキュリティコンポーネント構成を変更します	TLSを理解します

基本練習のウェブサイト

ウェブサイトURL（録音）：http：//learnspider.evilreclose.top/

場合

タイプ	困難	名前	情報
スライダー検証	はじめる	最も簡単なスライダー検証	スライダーをドラッグして端までスライドするだけで、検出せずに通過できます
	単純	Slidercaptcha	デフォルトの設定が展開され、基本的なヒューマンマシン検証が存在し、一定の速度プル/リニアプルは検証に合格しません
CSSアンチクロール	はじめる	絶対的なポジショニング逆クロール	絶対的な位置決めの特性を使用して、データをHTMLに分散させた後、ビューは座標を介して復元されます
	単純	擬似クラッシュ	データを表示できる擬似クラスコンテンツの特性を使用して、コンテンツにデータを表示する
	一般的に	RESTフォント暗号化	いくつかのUnicodeテキストにカスタムフォントの解析を使用して、標準のユニコード解析を使用する人がデータを登ることができず、単一のアクセスプロセス中にフォントが変更されないようにします。
JS反クロール	はじめる	反bugging	時限スタートアップ/ネックデバッガーを使用して、ブラウザを終了できないデバッグ状態に保ちます
	単純	デバッグを無効にします	コードを作成すると、ブラウザコンソールの開設が禁止されています
	単純	aaencode	一般的なキャラクターを絵文字のキャラクターに置き換えて、読みにくくなります
	単純	jsfuck	最も一般的な文字をいくつかの基本的な文字に置き換えて、読みにくくなります
データ暗号化	一般的に	AES対称暗号化	送信されたデータを暗号化します
	一般的に	カスタムBase64コードテーブル暗号化	送信されたデータを暗号化します
指紋リバースクロール	単純	最も簡単なセレン認識	2つの変数を自動的に作成することを確認します

技術アプリケーション

	使用	情報
仕様	休む	標準API、標準応答
CDN	bootcdn.cn	無料のフロントエンドオープンソースプロジェクトCDN加速サービス
フロントエンド	jQuery 2.2.4	高速で簡潔なJavaScriptフレームワーク
	実現します	材料設計に基づくフロントエンドのレスポンシブフレームワーク
	Twitter-Bootstrap 3.4.1	Twitterによるフロントエンド開発用のオープンソースツールキット
	フォントウェイスト4.7.0	アイコンフォントライブラリとCSSフレームワークのセット
	Metismenu 3.0.6	バニラ-JS崩壊メニュープラグイン
プロキシサーバー	nginx	高性能HTTP/リバースプロキシサーバー
Webサーバー	uwsgi	Webサーバー
後部	フラスコ1.1.2	Python Lightweight Webフレームワーク
	Flask-Restful 0.3.8	REST APIの迅速な作成をサポートするフラスコプラグイン

ツール/スクリプト製造

ツール/スクリプト製造
コンテンツ	情報
Auto DL ChromeWebdriver	Windowsでは、Selenium ChromeWebdriverスクリプトを自動的にダウンロードして、レジストリからChromeバージョンの情報を取得し、GoogleからWebドライバーの最も一貫したバージョンをダウンロードして、Seleniumが正常に実行できるようにします。 （実際、サーバーにDockerを展開し、Seleniumの画像を引き出してからリモートで展開して呼び出すことをお勧めします）
斜め	セレニウムを使用してクロールするときに遭遇する一般的な問題に対処するために、層がセレンにカプセル化されています
@babel/traverse apiドキュメント	BABEL/TRAVERSE APIドキュメントの内容と、それ自体によって書かれたユースケースは、別の倉庫に転送されました。 Babelの職員はBabel/Traverseドキュメントを提供していないため、コンテンツを記録し、ソースコードのコンテンツに基づいてそれ自体を理解/書き込むことができます。エラーがある可能性があります。修正してください。
フォント暗号化探偵	OCRに基づくDERTONT暗号化スクリプト

トト

• 3dmログインのコンテンツを完成させます
• 練習プラットフォームを再構築します
• バベルプラグインを改善します

2021年11月7日