برنامج اكتساب الويب؟ زاحف الويب؟ برنامج Xiaolun؟ بغض النظر عن ما تسميه ، فإن هذا النوع من البرنامج يستخدم على نطاق واسع. لا تناقش هذه المقالة حقوق الطبع والنشر أو القضايا الأخلاقية الناجمة عن استخدام هذا البرنامج ، ولكنها تناقش فقط تنفيذ هذا البرنامج في بيئة ASP+VBScript :-)
المعرفة التحضير: بالإضافة إلى المعرفة العامة ASP+VBScript ، تحتاج أيضًا إلى فهم كائنات XMLHTTP وكائنات التعبير العادية. كائن XMLHTTP هو بطل Ajax ، الذي يقع حاليًا في الأضواء ؛ وبعد تعلم التعبيرات العادية ، لم يعد عليك القلق بشأن التعامل مع الأوتار المعقدة.
أداة Regex مفيدة للغاية عند كتابة وتصحيح التعبيرات العادية.
جدول المحتويات
قم بالزحف إلى صفحة ويب عن بعد وحفظها محليًا
التحسين: تعامل مع رمز مشجعة
قم بتنزيل الصور (والملفات الأخرى) من صفحات الويب عن بُعد في نفس الوقت
تحسن: اكتشاف عناوين URL الحقيقية
التحسين: تجنب التنزيلات المتكررة
أمثلة عملية (أخذ **** كمثال)
صفحة قائمة التحليل
نصائح صفحة المحتوى
تحليل الصفحة السابقة ، الصفحة التالية في صفحة المحتوى
الموضوع المتقدم: تحويل UTF-8 و GB2312
موضوعات أكثر تقدما: الزحف بعد تسجيل الدخول ، تزوير العميل
إجراءات التجميع لديك
الرابط الأصلي: http://gwx.showus.net/blog/article.asp؟id=229
1. قم بالزحف إلى صفحة ويب عن بعد وحفظها إلى محلي
بالنسبة لتصحيح الأخطاء ، سيتم التحقق من النتائج الوسيطة عدة مرات في وقت لاحق
DimindeBug: Indebug = True
الفرعية (STR)
IfindeBug = falsethenexitsub
استجابة. write ("<divstyle = 'color:#003399 ؛ الحدود: solid1px#003399 ؛ الخلفية:#eef7ff ؛ margin: 1px ؛ font-size: 12px ؛ padding: 4px ؛'>")
Response.write (str & "</div>")
استجابة. flush ()
ينتهي
'العملية: Save2File
الدالة: حفظ النص أو دفق البايت كملف
المعلمة: Scontent لحفظ المحتوى
يتم حفظ sfile في ملف ، مثل "الملفات/abc.htm"
'هل نص نص أم لا
'الكتابة هل يكتب الملف الموجود
Subave2File (Scontent ، Sfile ، Btext ، Boverwrite)
Calld ("Save2File:"+SFILE+"*سواء كان نصًا:" & btext)
dimsaveoption ، النوع
إذا (boverwrite = صحيح) thensaveoption = 2EsSaveOption = 1
if (btext = true) thentypeoption = 2elseTypeOption = 1
setads = server.createBject ("adodb.stream")
ويتادس
.type = النوع
.يفتح
if (btext = true) ثم