legitbot

Legitbot

Ruby Gem, um sicherzustellen, dass eine IP wirklich zu einem Bot gehört, normalerweise einer Suchmaschine.

Verwendung

Angenommen, Sie haben eine Webanfrage und möchten überprüfen, ob sie nicht graben wird:

 bot = Legitbot . bot ( userAgent , ip )

bot ist nil , wenn im User-Agent keine Bot-Signatur gefunden wurde. Andernfalls ist es ein Objekt mit Methoden

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

Manchmal wissen Sie bereits, welche Suchmaschine zu erwarten ist. Zum Beispiel verwenden Sie möglicherweise einen Rack-Angriff:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

Oder wenn Sie nicht all diese gruseligen Crawler mögen, die Ihre Inhalte stehlen, bewerten und sich darauf vorbereiten, Ihre Website mit Spammer einzufangen, dann blockieren Sie sie alle:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Versioning

Semantische Versionierung mit folgenden Klarstellungen:

• Eine kleinere Version wird erhöht, wenn Unterstützung für neue Bots hinzugefügt wird.
• Die Patch -Version wird erhöht, wenn die Validierungslogik für einen Bot ändert (z. B. IP -Liste aktualisiert).

Unterstützt

• Ahrefs
• Amazonbot
• Amazon Adbot
• Applebot
• Baidu Spider
• Bingbot
• Blexbot (WebMeup)
• DataForseo
• Duckduckgo Bot
• Google Crawler
• IAS
• OpenAI GPTBOT
• Oracle Data Cloud Crawler
• Marginalia
• Meta / Facebook -Webcrawler
• Blütenblatt -Suchmaschine
• Pinterest
• Twitterbot, die Liste der IPs befindet sich auf der Seite Fehlerbehebung
• Yandex -Roboter
• You.com

Lizenz

Apache 2.0

Andere Projekte

• Spielrahmenvariante in Scala: Play-Legitbot
• Artikel, wenn (gefälschte) GoogleBots Ihre Rails -App angreift
• Voight-Kampff ist ein Ruby-Juwel, das Bots nach User-Agent erkennt
• crawler_detect ist ein Ruby-Edelstein und eine Rack-Middleware, um Crawler mit wenigen verschiedenen Anforderungsüberschriften zu erkennen, einschließlich User-Agent
• Das HTTP: BL von Project Honeypot kann IP nicht nur als Suchmaschine klassifizieren, sondern sie auch als misstrauisch kennzeichnen und meldet die Anzahl der Tage seit der letzten Aktivität. Meine Implementierung des Protokolls in Scala ist hier.
• CIDRAM ist ein PHP-Routing-Manager mit integrierter Unterstützung zur Validierung von Bots.