عند تنفيذ العديد من أساليب مكافحة التجميع، تحتاج إلى التفكير فيما إذا كانت ستؤثر على زحف محرك البحث إلى موقع الويب، لذلك دعونا أولاً نحلل الفرق بين أدوات التجميع العامة ومجموعة زاحف محرك البحث.
التشابه:
أ. يحتاج كلاهما إلى التقاط الكود المصدري لصفحة الويب مباشرة للعمل بفعالية.
ب. سيقوم كلاهما بالزحف إلى عدد كبير من محتويات موقع الويب الذي تمت زيارته عدة مرات لكل وحدة زمنية؛
ج. من منظور كلي، سيتغير كلا عنواني IP؛
د. كلاهما غير صبورين للغاية لكسر بعض التشفير (التحقق) لصفحات الويب الخاصة بك، على سبيل المثال، يتم تشفير محتوى الويب من خلال ملفات js على سبيل المثال، تحتاج إلى تسجيل الدخول للوصول إلى المحتوى.
الاختلافات:
يتجاهل زاحف محرك البحث أولاً النص البرمجي لرمز مصدر صفحة الويب بالكامل والنمط ورمز علامة html، ثم يقوم بإجراء سلسلة من المعالجة المعقدة على أجزاء النص المتبقية مثل تجزئة الكلمات والتحليل النحوي والنحوي. يقوم المُجمع عمومًا بالتقاط البيانات المطلوبة من خلال خصائص علامات HTML، عند إنشاء قواعد التجميع، من الضروري ملء علامة البداية وعلامة النهاية للمحتوى المستهدف، وذلك لتحديد موقع المحتوى المطلوب أو استخدام قواعد عادية محددة صفحات ويب محددة لتصفية المحتوى المطلوب. سواء كنت تستخدم علامات البداية والنهاية أو التعبيرات العادية، فسيتم تضمين علامات html (تحليل بنية صفحة الويب).
ثم سنقترح بعض أساليب مكافحة التحصيل.
1. تحديد عدد الزيارات لكل وحدة زمنية لعنوان IP
التحليل: لا يمكن لأي شخص عادي زيارة نفس الموقع 5 مرات في الثانية الواحدة، إلا إذا تم الدخول إليه عن طريق أحد البرامج، ومن لديه هذا التفضيل يبقى مع زواحف محركات البحث والكاشطات المزعجة.
العيوب: مقاس واحد يناسب الجميع، مما سيمنع أيضًا محركات البحث من تضمين موقع الويب.
المواقع القابلة للتطبيق: مواقع الويب التي لا تعتمد كثيرًا على محركات البحث
ما الذي سيفعله المُجمع: تقليل عدد مرات الوصول لكل وحدة زمنية وتقليل كفاءة التجميع
2. حظر IP
التحليل: استخدم عدادات الخلفية لتسجيل عناوين IP للزائرين وتكرار الوصول، وتحليل سجلات الزيارة يدويًا، وحظر عناوين IP المشبوهة.
العيوب: يبدو أنه لا توجد عيوب، ولكن مشرف الموقع مشغول بعض الشيء.
مواقع الويب القابلة للتطبيق: يمكن لجميع مواقع الويب، ويمكن لمشرف الموقع معرفة ما هي روبوتات Google أو Baidu
ما الذي سيفعله المجمع: حارب حرب العصابات استخدم وكيل IP لجمع البيانات في كل مرة، ولكنه سيقلل من كفاءة المجمع وسرعة الشبكة (استخدم الوكيل).
3. استخدم js لتشفير محتوى الويب
ملحوظة: لم يسبق لي أن واجهت هذه الطريقة، لقد رأيتها للتو من مكان آخر.
التحليل: لا داعي للتحليل، يمكن لبرامج الزحف وجامعي محركات البحث أن يقتلوا بعضهم البعض
مواقع الويب القابلة للتطبيق: مواقع الويب التي تكره بشدة محركات البحث وهواة الجمع
سوف يفعل الجامع هذا: إذا كنت رائعًا جدًا وتخاطر بكل شيء، فلن يأتي ليأخذك.
4. يتم إخفاء حقوق الطبع والنشر لموقع الويب أو بعض النصوص العشوائية في صفحة الويب. تتم كتابة أنماط النص هذه في ملف CSS.
التحليل: على الرغم من أنه لا يمكن أن يمنع التجميع، إلا أنه سيجعل المحتوى الذي تم جمعه مليئًا ببيان حقوق الطبع والنشر لموقع الويب الخاص بك أو بعض النصوص غير المرغوب فيها، لأنه بشكل عام لن يجمع المجمع ملفات CSS الخاصة بك في نفس الوقت، وسيتم عرض تلك النصوص بدون نمط.
المواقع القابلة للتطبيق: جميع المواقع
ما الذي سيفعله المجمع: بالنسبة للنص المحمي بحقوق الطبع والنشر، من السهل التعامل معه واستبداله. ليس هناك ما يمكنك فعله بشأن الرسائل العشوائية العشوائية، فقط كن مجتهدًا.
5. يجب على المستخدمين تسجيل الدخول للوصول إلى محتوى الموقع
التحليل: لن تقوم برامج زحف محركات البحث بتصميم إجراءات تسجيل الدخول لكل نوع من أنواع مواقع الويب. سمعت أن المجمع يمكنه محاكاة تسجيل دخول المستخدم وسلوك إرسال النموذج لتصميم موقع ويب معين.
مواقع الويب القابلة للتطبيق: مواقع الويب التي تكره محركات البحث وتريد حظر معظم هواة الجمع
ما سيفعله المجمع: قم بإنشاء وحدة تحاكي تسجيل دخول المستخدم وإرسال سلوك النموذج
6. استخدم لغة البرمجة النصية لإجراء الترحيل (إخفاء الترحيل)
التحليل: مرة أخرى، لن تقوم برامج زحف محركات البحث بتحليل الصفحات المخفية لمواقع الويب المختلفة، مما يؤثر على إدراجها بواسطة محركات البحث. ومع ذلك، عندما يكتب المجمع قواعد المجموعة، يجب عليه تحليل كود صفحة الويب المستهدفة. أولئك الذين يعرفون بعض المعرفة بالبرمجة النصية سيعرفون عنوان الرابط الحقيقي للصفحة.
مواقع الويب القابلة للتطبيق: مواقع الويب التي لا تعتمد بشكل كبير على محركات البحث، كما أن الشخص الذي يجمعك ليس لديه معرفة بالبرمجة النصية.
ما سيفعله المجمع: يجب أن يقال ما سيفعله المجمع، فهو سيقوم بتحليل كود صفحة الويب الخاصة بك على أي حال، وبالمناسبة، سيحلل البرنامج النصي للترحيل الخاص بك.