ウェブマスターにとって最も頭痛の多いものは、プログラムとサーバーのセキュリティに加えて、コンテンツが収集されると見なされる可能性があることです。もちろん、ネットワーク自体は現在リソース共有です。ここでは、コレクションの正しいことや間違ったことについては話しませんが、収集の防止に関する個人的な意見について話すだけです。
1.検索クローラーを区別する方法
過去には、ASPコードを使用して検索クローラーをキャプチャし、Crawlerのアクセス記録をコードを介してファイルに記録するコードをインターネット上で見てきました。このコード(元の著者は不明)に変更を加え、収集を防ぐためにプログラムに追加しました。これで機能になり、ページに直接呼び出されます。
コードコピーは次のとおりです。
functionChecksearchrobots(searchRobotsagent)
Checksearchrobots = false
「カスタム検索クローラー、長さのため、これは主要な国内検索エンジンのクローラーの記録の一部にすぎません
dimsearchrobots:searchrobots = "baidu@baidu | google@google | crawler@alexa | yahoo@yahoo | sohu | msn@msn | qihoobot@qihoo"
dimarrsearchrobots、arrsearchrobots2、searchrobotstrue、searchrobotsname、isearchrobots
SearchRobotStrue = false
arrsearchrobots = split(searchrobots、chr(124))
forisearchrobots = 0toubound(arrsearchrobots)
arrsearchrobots2 = split(arrsearchrobots(isearchrobots)、 "@")
ifinstr(lcase(searchrobotsagent)、lcase(arrsearchrobots2(0)))> 0then
SearchRobotStrue = true:searchRobotsName = arrsearchrobots2(1):exitfor
endif
次
ifsearchrobotstrueandlen(searchrobotsname)> 0 then'は、クローラーである場合、クローラー情報を更新してください
Checksearchrobots = true
endif
エンド機能
上記のコードをASPプログラムに入れます(それを配置する方法の詳細については、関連する記事を参照してください)、次に電話をかける必要がある場所で次の呼び出しを行います。
Response.Write「検索エンジンではなく、部分的に制限される可能性があります!」 'ここでは、指定された時間を決定するためにリフレッシュレートを追加できます。たとえば、通常の状況では、アクセス速度はn回/分です。この数が(並外れたアクセス)を超えると、制限される可能性があります。