legitbot

Legitbot

Ruby Gem para asegurarse de que una IP realmente pertenezca a un bot, generalmente un motor de búsqueda.

Uso

Supongamos que tiene una solicitud web y desea verificar que no esté diguido:

 bot = Legitbot . bot ( userAgent , ip )

bot será nil si no se encontró una firma BOT en el User-Agent . De lo contrario, será un objeto con métodos

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

A veces ya sabes qué motor de búsqueda esperar. Por ejemplo, podría estar usando Rack-Attack:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

O si no le gustan todos esos rastreadores de macabro que roban su contenido, evalúanlo y se preparan para invadir su sitio con spammers, entonces bloquearlos todos:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Versiones

Versiones semánticas con las siguientes aclaraciones:

• La versión menor se incrementa cuando se agrega soporte para nuevos bots.
• La versión del parche se incrementa cuando la lógica de validación para un BOT cambia (lista de IP actualizada, por ejemplo).

Compatible

• Ahrefs
• Amazonbot
• Amazon Adbot
• Manzana
• Araña de Baidu
• Bingbot
• Blexbot (WebMeup)
• Dataforso
• Duckduckgo bot
• Google Crawlers
• IAS
• OpenAi Gptbot
• Oracle Data Cloud Crawler
• Nota marginal
• Meta / Facebook Web Crawlers
• Motor de búsqueda de pétalos
• Pinterest
• Twitterbot, la lista de IPS está en la página de solución de problemas
• Robots Yandex
• You.com

Licencia

Apache 2.0

Otros proyectos

• Play Framework Variant en Scala: Play-Legitbot
• Artículo cuando (falso) Googlebots ataca a tu aplicación Rails
• Voight-Kampff es una joya de rubí que detecta los bots por User-Agent
• Crawler_detect es una gema rubí y un middleware de rack para detectar rastreadores por pocos encabezados de solicitud diferentes, incluido User-Agent
• Project HTTP: BL de Proyecto Honeypot no solo puede clasificar IP como motor de búsqueda, sino que también los etiquetar como sospechosos e informa el número de días desde la última actividad. Mi implementación del protocolo en Scala está aquí.
• CIDRAM es un administrador de enrutamiento de PHP con soporte incorporado para validar bots.