Webakquisitionsprogramm? Web -Crawler? Xiaolun -Programm? Egal wie Sie es nennen, diese Art von Programm ist ziemlich weit verbreitet. In diesem Artikel werden nicht urheberrechtliche oder moralische Probleme erörtert, die durch die Verwendung dieses Programms verursacht werden, sondern nur die Implementierung dieses Programms in der ASP+VBScript-Umgebung :-)
Vorbereitungswissen: Zusätzlich zu allgemeinem ASP+VBScript -Wissen müssen Sie auch XMLHTTP -Objekte und reguläre Ausdrucksobjekte verstehen. Das XMLHTTP -Objekt ist der Protagonist von Ajax, der sich derzeit im Rampenlicht befindet. Und nachdem Sie regelmäßige Ausdrücke gelernt haben, müssen Sie sich keine Sorgen mehr um den Umgang mit komplexen Saiten machen.
Das Regex -Gadget ist beim Schreiben und Debuggen regelmäßiger Ausdrücke sehr nützlich.
Inhaltsverzeichnis
Kriechen Sie eine Remote -Webseite und speichern Sie sie lokal
Verbesserung: Verwicklte Code bearbeiten
Laden Sie gleichzeitig Bilder (und andere Dateien) von Remote -Webseiten herunter
Verbessert: echte URLs erkennen
Verbesserung: Vermeiden Sie wiederholte Downloads
Praktische Beispiele (als Beispiel einnehmen)
Analyseliste Seite
Inhaltsseite -Tipps
Analysieren Sie die vorherige Seite, nächste Seite auf der Inhaltsseite
Erweitertes Thema: UTF-8- und GB2312-Konvertierung
Fortgeschrittenere Themen: Krabbeln nach Anmeldung, Klientenfälle
Die Sammelverfahren, die Sie haben
Original -Link: http://gwx.showus.net/blog/article.asp?id=229
1. kriechen Sie eine Remote -Webseite und speichern Sie sie vor Ort
Für das Debuggen werden die Zwischenergebnisse mehrmals später überprüft
Dimindebug: Indebug = True
Subd (str)
Ifindebug = falsethenexitsub
Response.write ("<divStyle = 'Farbe:#003399; Rand: Solid1px#003399; Hintergrund:#eef7ff; Margin: 1px; Schriftgröße: 12px; Padding: 4px;'>")
Response.write (STR & "</div>")
Response.flush ()
Ende
'Prozess: Save2File
'Funktion: Text oder Byte -Stream als Datei speichern
'Parameter: Scontent zum Speichern von Inhalten
'Sfile wird in einer Datei wie "Dateien/ABC.Htm" gespeichert.
'Ist btext ein Text oder nicht
'Schreiben, überschreibt es die vorhandene Datei
Subave2File (scontent, sfile, bText, boverwrite)
Calld ("Save2File:"+SFILE+"*Ob Text:" & Btext)
DimsaveOption, Typoption
If (boverwrite = true) thensaveOption = 2ELSSAVEOPTION = 1
If (bText = true) thentypeOption = 2ELSetypeOption = 1
SetAds = server.createObject ("adodb.stream")
Withads
.Type = Typoption
.Offen
If (bText = true) then.WritETEXTSContentElse.WritesContent