Программа приобретения веб -сайта? Веб -гусеницы? Программа Xiaolun? Независимо от того, что вы называете, такая программа довольно широко используется. В этой статье не обсуждаются авторские права или моральные проблемы, вызванные использованием этой программы, а только обсуждает реализацию этой программы в среде ASP+VBScript :-)
Знание подготовки: в дополнение к общим знаниям ASP+VBScript вам также необходимо понять объекты XMLHTTP и объекты регулярного выражения. Объект XMLHTTP является главным героем Ajax, который в настоящее время находится в центре внимания; И после изучения регулярных выражений вам больше не нужно беспокоиться о работе со сложными строками.
Гаджет Regex очень полезен при написании и отладке регулярных выражений.
Оглавление
Пожмите удаленную веб -страницу и сохраните ее локально
Улучшение: обрабатывать искаженную код
Скачать изображения (и другие файлы) удаленных веб -страниц одновременно
Улучшено: обнаружение реальных URL -адресов
Улучшение: избегайте повторяющихся загрузок
Практические примеры (взяв **** в качестве примера)
Страница списка анализа
Советы по странице контента
Проанализируйте предыдущую страницу, следующую страницу на странице контента
Расширенная тема: UTF-8 и GB2312 Преобразование
Более продвинутые темы: ползание после входа в систему, подделка клиента
Процедуры сбора, которые у вас есть
Оригинальная ссылка: http://gwx.showus.net/blog/article.asp?id=229
1. Полезть удаленную веб -страницу и сохранить ее на локальную
«Для отладки промежуточные результаты будут проверены несколько раз спустя
Dimindebug: indbug = true
Subd (str)
Ifindebug = falsethenexitsub
Response.write ("<<divstyle = 'color:#003399; граница: Solid1px#003399; фон:#eef7ff; маржа: 1px; font-size: 12px; padding: 4px;'>")
Response.write (str & "</div>")
Response.flush ()
Заканчивая
'Процесс: Save2file
'Function: Сохранить текст или поток байта в качестве файла
'Параметр: Scontent для сохранения контента
'Sfile сохраняется в файле, например, «Files/abc.htm»
' - это текст или нет
'Напишите, перезаписывает существующий файл
Subsave2file (Scontent, Sfile, Btext, Boverwrite)
Calld ("save2file:"+sfile+"*
DimSaveOption, TypeOption
If (bovertrite = true) thensaveoption = 2elseSaveOption = 1
If (btext = true) thentypeoption = 2elsetypeoption = 1
SetAds = server.createObject ("adodb.stream")
Withads
.Type = typeption
.Открыть
If (bText = true) then.WriteTextScontentelse.writescontent