learning_spider

Perkenalan

Proyek ini terutama dibagi menjadi tiga bagian

• Casing merangkak data merangkak dari beberapa situs web dan menandai kesulitan dan poin -poin utama.
• situs web http://learnspider.evilreclose.top/
  Berdasarkan pengalaman counter-crawling, cobalah untuk mengakses dan menulis berbagai hambatan merangkak, dan mempelajari pengetahuan front-end/back-end/server dengan cara
• Alat tambahan/pembuatan skrip mencoba membuat berbagai alat/skrip

Konten Selesai - Kemajuan Saat Ini Diperkirakan 5%

Kasus

Kesulitan	isi	informasi	Jalan	kesulitan
Basis	Penggunaan sederhana dari berbagai perpustakaan	Metode Penggunaan Dasar	Lihat Demo Menulis Dokumen
Memulai	Peringkat Film Maoyan Top 100	Halaman web statis	Permintaan
	Halaman Pencarian Amazon China Mall	Halaman web statis	Permintaan
	Hasil pencarian headline hari ini	Halaman web dinamis	Permintaan
	Informasi Dinamis Pengguna Weibo	Halaman web dinamis	Permintaan	Lokasi parameter Sejak_id
	Pengamat Bilibili melihat indeks yang sama	Halaman web dinamis	Permintaan	Pulihkan data eksponensial terkompresi
	Kode verifikasi slider termudah	Halaman web dinamis	Selenium	Slider Move
Sederhana	Metode enkripsi kata sandi dari router tertentu	File JS tunggal		Mencari fungsi enkripsi
	Pemrosesan debugger tanpa batas	Halaman web dinamis	Reres	Anti-debugging
	Dekripsi AAencode	Halaman web dinamis	Devtool	Enkripsi pengkodean
	Elemen CSS Posisi Absolut Reverse Crawling	Halaman web statis	Pyppeteer	Kembalikan urutan elemen
	CSS Pseudo-Class Anti-Crawling	Halaman web statis	Permintaan	Kembalikan konten kelas semu
	58.com Apartemen Merek	Halaman web statis	Permintaan	Enkripsi font statis
	Studi sidik jari anjuke	File JS tunggal	Devtool	Meneliti dan memahami pentingnya informasi yang dikumpulkan
umumnya	Informasi Artikel Zhihu	Halaman web dinamis	Permintaan	Header `X-ZSE-86` Parameter Enkripsi Anti-Debugging Berbasis Waktu
	Pemrosesan Enkripsi Font China_CN	Halaman web dinamis	fonttool	Pemrosesan enkripsi font dinamis
	Baidu pemrosesan kode yang dikaburkan	File JS tunggal	@bebel	Menulis berbagai plug-in restore
	Mempercepat pemrosesan kode kebingungan	Memblokir Cookie Pengaturan	@bebel	OB Pemulihan Kode yang Dikewekatkan
Sulit	Carbosynch menangkap gambar	Sidik jari TLS sederhana	Ubah Konfigurasi Komponen Keamanan Default	Mengerti tls

Situs web praktik dasar

URL situs web (direkam): http://learnspider.evilreclose.top/

Kasus

jenis	Kesulitan	nama	informasi
Verifikasi Slider	Memulai	Verifikasi slider termudah	Cukup seret slider dan geser ke ujung dan Anda bisa lulus, tanpa deteksi apa pun
	Sederhana	SliderCaptcha	Pengaturan default dikerahkan, ada verifikasi dasar manusia-mesin, tarikan kecepatan konstan/tarikan linier tidak akan melewati verifikasi
CSS Anti-Crawl	Memulai	Posisi absolut merangkak terbalik	Menggunakan karakteristik penentuan posisi absolut, setelah membubarkan data ke HTML, tampilan dipulihkan melalui koordinat
	Sederhana	Pseudo-crash	Menggunakan karakteristik konten kelas semu yang dapat menampilkan data, menampilkan beberapa data dalam konten
	umumnya	Enkripsi Font Istirahat	Biarkan beberapa teks Unicode menggunakan parsing font khusus, sehingga orang yang menggunakan parsing unicode standar tidak dapat memanjat data dan font tidak akan berubah selama proses akses tunggal.
JS Anti-Crawl	Memulai	Anti-debugging	Gunakan startup berjangka waktu/debugger necked untuk menjaga browser dalam keadaan debug yang tidak dapat keluar
	Sederhana	Nonaktifkan debugging	Menulis kode melarang pembukaan konsol browser
	Sederhana	Aaencode	Ganti karakter umum dengan karakter emoticon, membuatnya sulit dibaca
	Sederhana	Jsfuck	Ganti karakter yang paling umum dengan beberapa karakter dasar, membuatnya sulit dibaca
Enkripsi Data	umumnya	Enkripsi Simetris AES	Mengenkripsi data yang ditransmisikan
	umumnya	Enkripsi Tabel Kode Basis Kustom	Mengenkripsi data yang ditransmisikan
Sidik jari merangkak terbalik	Sederhana	Pengakuan selenium termudah	Periksa untuk secara otomatis membuat dua variabel

Aplikasi Teknis

	menggunakan	informasi
spesifikasi	ISTIRAHAT	API standar, respons standar
CDN	bootcdn.cn	Layanan Akselerasi Proyek Open-End Free-End CDN Gratis
ujung depan	JQuery 2.2.4	Kerangka JavaScript yang cepat dan ringkas
	Mewujudkan	Kerangka kerja responsif front-end berdasarkan desain material
	Twitter-Bootstrap 3.4.1	Toolkit Sumber Terbuka untuk Pengembangan Front-End oleh Twitter
	Font-Awesome 4.7.0	Set Icon Font Library dan CSS Framework
	Metismenu 3.0.6	Vanilla-Js Collapse Menu Plug-in
Server proxy	Nginx	Server proxy http/reverse berkinerja tinggi
Server web	UWSGI	Server web
ujung belakang	Flask 1.1.2	Kerangka web python ringan
	Flask-Restful 0.3.8	Plugin Flask yang mendukung penciptaan cepat API REST

Alat/Pembuatan Skrip

Alat/Pembuatan Skrip
isi	informasi
Auto DL Chromewebdriver	Di Windows, secara otomatis mengunduh skrip Selenium Chromewebdriver untuk mendapatkan informasi versi Chrome dari registri, dan mengunduh versi Web Driver yang paling konsisten dari Google, sehingga selenium dapat berjalan secara normal. (Faktanya, lebih disarankan untuk menggunakan Docker di server, menarik gambar selenium, dan kemudian menggunakan dan menyebutnya dari jarak jauh)
Slother	Lapisan dienkapsulasi pada selenium untuk menangani masalah umum yang akan Anda temui saat menggunakan selenium untuk merangkak
@Babel/Traverse API Dokumen	Isi Dokumen API Babel/Traverse dan kasus penggunaan yang ditulis dengan sendirinya telah ditransfer ke gudang lain. Karena pejabat Babel tidak menyediakan dokumen Babel/Traverse, ia hanya dapat merekam konten dan memahami/menulisnya dengan sendirinya berdasarkan konten kode sumber. Mungkin ada kesalahan. Harap perbaiki.
Detektif Enkripsi Font	Skrip enkripsi defont berdasarkan OCR

Todo

• Lengkapi konten login 3dm
• Merekonstruksi platform latihan
• Tingkatkan plugin Babel

7 November 2021