learning_spider
1.0.0
ينقسم هذا المشروع بشكل أساسي إلى ثلاثة أجزاء
| صعوبة | محتوى | معلومة | طريق | صعوبة |
|---|---|---|---|---|
| قاعدة | استخدام بسيط لمختلف المكتبات | طريقة الاستخدام الأساسية | عرض توضيح كتابة المستندات | |
| ابدء | تصنيفات فيلم Maoyan Top 100 | صفحات الويب الثابتة | الطلبات | |
| صفحة البحث في Amazon China Mall | صفحات الويب الثابتة | الطلبات | ||
| نتائج البحث عن العنوان اليوم | صفحات الويب الديناميكية | الطلبات | ||
| معلومات ديناميكية مستخدم Weibo Mobile | صفحات الويب الديناميكية | الطلبات | موقع المعلمة منذ ذلك الحين | |
| يرى Bilibili Observer نفس الفهرس | صفحات الويب الديناميكية | الطلبات | استعادة البيانات الأسية المضغوطة | |
| أسهل رمز التحقق من شريط التمرير | صفحات الويب الديناميكية | السيلينيوم | حركة شريط التمرير | |
| بسيط | طريقة تشفير كلمة المرور لجهاز توجيه معين | ملف JS واحد | تبحث عن وظائف التشفير | |
| معالجة التصحيح غير المحدودة | صفحات الويب الديناميكية | RERES | مكافحة التعدين | |
| Aaencode decryption | صفحات الويب الديناميكية | Devtool | تشفير تشفير | |
| عنصر CSS المطلق تحديد المواقع العكسية | صفحات الويب الثابتة | Pyppeteer | ترتيب العنصر استعادة | |
| CSS Pseudo-Class anti-crawling | صفحات الويب الثابتة | الطلبات | استعادة محتوى الفئة الزائفة | |
| 58.com شقة العلامة التجارية | صفحات الويب الثابتة | الطلبات | تشفير الخط الثابت | |
| دراسة البصمة Anjuke | ملف JS واحد | Devtool | البحث وفهم أهمية المعلومات التي تم جمعها | |
| عمومًا | Zhihu معلومات المقالة | صفحات الويب الديناميكية | الطلبات | رأس `X-ZSE-86` تشفير المعلمة anti-debugging القائمة على الوقت |
| معالجة تشفير Font China_cn | صفحات الويب الديناميكية | fonttool | معالجة تشفير الخطوط الديناميكية | |
| معالجة رمز بايدو | ملف JS واحد | bebel | كتابة العديد من المكونات الإضافية | |
| تسريع معالجة رمز التغوط | منع إعدادات إعدادات | bebel | ترميم الكود المتفوق | |
| صعب | carbosynch يلتقط صورة | بصمة TLS بسيطة | تعديل تكوين مكون الأمان الافتراضي | فهم TLS |
عنوان URL للموقع (مسجل): http://learnspider.evilreclose.top/
| يكتب | صعوبة | اسم | معلومة |
|---|---|---|---|
| التحقق من شريط التمرير | ابدء | أسهل التحقق من شريط التمرير | ما عليك سوى اسحب شريط التمرير وانزلق إلى النهاية ويمكنك المرور ، دون أي اكتشاف |
| بسيط | SliderCaptcha | يتم نشر الإعدادات الافتراضية ، والتحقق الأساسي من الإنسان والآلة ، وسحب السرعة الثابت/السحب الخطي لن يمر بالتحقق | |
| CSS مكافحة الزحف | ابدء | تحديد المواقع المطلقة الزحف العكسي | باستخدام خصائص تحديد المواقع المطلقة ، بعد تشتت البيانات إلى HTML ، تتم استعادة العرض من خلال الإحداثيات |
| بسيط | كراش الزائفة | باستخدام خصائص محتوى الفئة الزائفة التي يمكنها عرض البيانات ، عرض بعض البيانات في المحتوى | |
| عمومًا | بقية تشفير الخط | دع بعض نص Unicode يستخدم تحليل الخطوط المخصصة ، بحيث لا يمكن للأشخاص الذين يستخدمون تحليل Unicode القياسي تسلق البيانات ولن يتغير الخط أثناء عملية وصول واحدة. | |
| JS مكافحة الزحف | ابدء | مكافحة التعدين | استخدم مصحح أخطاء/رقبة محددة للوقت للحفاظ على المتصفح في حالة تصحيح لا يمكن الخروج منها |
| بسيط | تعطيل التصحيح | يحظر كتابة رمز فتح وحدة التحكم في المستعرض | |
| بسيط | Aaencode | استبدل الشخصيات الشائعة بشخصيات عاطفية ، مما يجعل القراءة من الصعب القراءة | |
| بسيط | JSfuck | استبدل أكثر الأحرف شيوعًا بعدة أحرف أساسية ، مما يجعل القراءة من الصعب القراءة | |
| تشفير البيانات | عمومًا | AES التشفير المتماثل | تشفير البيانات المنقولة |
| عمومًا | تشفير جدول رمز BASE64 مخصص | تشفير البيانات المنقولة | |
| البصمة عكس الزحف | بسيط | أسهل الاعتراف بالسيلينيوم | تحقق لإنشاء متغيرين تلقائيًا |
| يستخدم | معلومة | |
|---|---|---|
| مواصفة | استراحة | واجهة برمجة التطبيقات القياسية ، الاستجابة القياسية |
| CDN | bootcdn.cn | خدمة تسريع مشروع CDN المصدر المفتوح المصدر المجاني |
| الواجهة الأمامية | jQuery 2.2.4 | إطار JavaScript سريع وموجز |
| تتحقق | إطار استجابة للواجهة الأمامية على أساس تصميم المواد | |
| Twitter-bootstrap 3.4.1 | مجموعة أدوات مفتوحة المصدر لتطوير الواجهة الأمامية بواسطة Twitter | |
| خط الهجوم 4.7.0 | مجموعة من مكتبة خطوط الرمز وإطار عمل CSS | |
| Metismenu 3.0.6 | مكونات القائمة الفانيليا-JS | |
| خادم الوكيل | nginx | خادم HTTP/خادم الوكيل العكسي عالي الأداء |
| خادم الويب | UWSGI | خادم ويب |
| نهاية الطريق | Flask 1.1.2 | إطار ويب بيثون خفيف الوزن |
| Flask-Restful 0.3.8 | مكون إضافي قارورة يدعم إنشاء واجهات برمجة التطبيقات السريعة REST |
| أدوات/تصنيع النصوص | |||
|---|---|---|---|
| محتوى | معلومة | ||
| Auto DL ChromeWebDriver | في Windows ، قم بتنزيل Selenium ChromeBdriver Twick تلقائيًا للحصول على معلومات إصدار Chrome من السجل ، وتنزيل الإصدار الأكثر اتساقًا من برنامج تشغيل الويب من Google ، بحيث يمكن تشغيل السيلينيوم بشكل طبيعي. (في الواقع ، يوصى بنشر Docker على الخادم ، وسحب صورة Selenium ، ثم نشرها عن بُعد) | ||
| خلاصة | يتم تغليف طبقة على السيلينيوم للتعامل مع المشكلات الشائعة التي ستواجهها عند استخدام السيلينيوم للزحف | ||
| @Babel/Traverse API وثيقة | تم نقل محتوى وثائق API Babel/Traverse وحالات الاستخدام المكتوبة في حد ذاته إلى مستودع آخر. نظرًا لأن بابل مسؤول لا يوفر مستندات بابل/ترافيرس ، فيمكنه تسجيل المحتوى وفهمه/كتابته بنفسه بناءً على محتوى الكود المصدري. قد تكون هناك أخطاء. الرجاء تصحيحه. | ||
| محقق تشفير الخط | نصي تشفير Defont على أساس المعرفة الضوئية | ||
7 نوفمبر 2021
