legitbot

Legitbot

Ruby Gem para garantir que um IP realmente pertença a um bot, normalmente um mecanismo de pesquisa.

Uso

Suponha que você tenha uma solicitação da web e gostaria de verificar que não está digitada:

 bot = Legitbot . bot ( userAgent , ip )

bot será nil se nenhuma assinatura de bot foi encontrada no User-Agent . Caso contrário, será um objeto com métodos

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

Às vezes você já sabe qual mecanismo de pesquisa esperar. Por exemplo, você pode estar usando o ataque de rack:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

Ou se você não gosta de todos aqueles rastreadores macabra roubando seu conteúdo, avaliando -o e se preparando para invadir seu site com spammers, depois bloqueie todos eles:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Versão

Versão semântica com os seguintes esclarecimentos:

• A versão menor é incrementada quando o suporte para novos bots é adicionado.
• A versão do patch é incrementada quando a lógica de validação para uma alteração de bot (lista de IP atualizada, por exemplo).

Suportado

• Ahrefs
• Amazonbot
• Amazon Adbot
• AppleBot
• Baidu Spider
• Bingbot
• Blexbot (webMeUp)
• DataForsoo
• Bot Duckduckgo
• Google Crawlers
• IAS
• Openai Gptbot
• Oracle Data Cloud Crawler
• Marginalia
• Meta / Facebook Web Crawlers
• Mecanismo de busca de pétalas
• Pinterest
• Twitterbot, a lista de IPS está na página de solução de problemas
• Robôs Yandex
• Você.com

Licença

Apache 2.0

Outros projetos

• Variante de estrutura de jogo em scala: play-legitbot
• Artigo quando (falso) o Googlebots ataca seu aplicativo Rails
• Voight-kampff é uma jóia rubi que detecta bots por User-Agent
• Crawler_detect é um middleware rubi e rack para detectar rastreadores por poucos cabeçalhos de solicitação diferentes, incluindo User-Agent
• O HTTP: BL do Project Honeypot pode não apenas classificar o IP como um mecanismo de pesquisa, mas também rotular -os como suspeitos e relata o número de dias desde a última atividade. Minha implementação do protocolo em Scala está aqui.
• O CIDRAM é um gerente de roteamento PHP com suporte interno para validar bots.