legitbot

Légitime

Ruby Gem pour s'assurer qu'une IP appartient vraiment à un bot, généralement un moteur de recherche.

Usage

Supposons que vous ayez une demande Web et que vous souhaitez vérifier qu'il n'est pas digéré:

 bot = Legitbot . bot ( userAgent , ip )

bot sera nil si aucune signature de bot n'a été trouvée dans l' User-Agent . Sinon, ce sera un objet avec des méthodes

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

Parfois, vous savez déjà à quel moteur de recherche s'attendre. Par exemple, vous pourriez utiliser une attaque de rack:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

Ou si vous n'aimez pas tous ces robots macabres qui volent votre contenu, l'évaluez et vous préparez à envahir votre site avec des spammeurs, alors bloquez-les tous:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Versioning

Versioning sémantique avec les clarifications suivantes:

• La version mineure est incrémentée lorsque la prise en charge de nouveaux robots est ajoutée.
• La version de patch est incrémentée lorsque la logique de validation pour un bot modifie (la liste IP mise à jour, par exemple).

Soutenu

• Ahrefs
• Amazonbot
• Amazon Adbot
• Pomme
• Araignée de Baidu
• Bingbot
• Blexbot (webMeUp)
• Dataforseo
• Duckduckgo bot
• Google Crawlers
• IAS
• Openai gptbot
• Oracle Data Cloud Crawler
• Notes marginales
• Crawlers Web Meta / Facebook
• Moteur de recherche de pétales
• Pinterest
• Twitterbot, la liste des IPS est dans la page de dépannage
• Robots yandex
• Vous.com

Licence

Apache 2.0

Autres projets

• Play Framework Variant dans Scala: Play-Legitbot
• Article lorsque (Fake) Googlebots attaque votre application Rails
• Voight-kampff est un joyau de rubis qui détecte les bots par User-Agent
• Crawler_detect est un middleware Ruby Gem et Rack pour détecter les chenilles par quelques en-têtes de demande différents, y compris User-Agent
• Project Honeypot's HTTP: BL peut non seulement classer IP comme un moteur de recherche, mais également les qualifier de suspect et rapporte le nombre de jours depuis la dernière activité. Mon implémentation du protocole à Scala est là.
• Cidram est un gestionnaire de routage PHP avec un support intégré pour valider les bots.