legitbot

Legitbot

Ruby Gem确保IP真正属于机器人，通常是搜索引擎。

用法

假设您有一个Web请求，并且您想检查它没有被挖掘：

 bot = Legitbot . bot ( userAgent , ip )

如果在User-Agent中找不到机器人签名，则bot将nil 。否则，它将是一个具有方法的对象

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

有时您已经知道要期望哪种搜索引擎。例如，您可能正在使用机架攻击：

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

或者，如果您不喜欢所有这些可怕的爬行者窃取您的内容，对其进行评估并准备用垃圾邮件发送者入侵您的网站，然后将它们全部封锁：

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

版本控制

具有以下澄清的语义版本控制：

• 添加对新机器人的支持时，次要版本会增加。
• 当机器人更改验证逻辑时，补丁版将增加（例如，IP列表更新）。

支持

• ahrefs
• AmazonBot
• 亚马逊adbot
• Applebot
• 百度蜘蛛
• Bingbot
• Blexbot（WebMeup）
• DataForseo
• Duckduckgo Bot
• Google爬行者
• IAS
• Openai gptbot
• 甲骨文数据云爬网
• Marginalia
• 元 / Facebook网络爬网
• 花瓣搜索引擎
• Pinterest
• Twitterbot，IPS列表在故障排除页面中
• Yandex机器人
• you.com

执照

Apache 2.0

其他项目

• Scala中的游戏框架变体：Play-LegitBot
• （假）Googlebots攻击您的Rails应用程序时的文章
• Voight-Kampff是一种红宝石宝石，可检测User-Agent
• crawler_detect是一种红宝石宝石和机架中间件，可通过几个不同的请求标头检测爬行者，包括User-Agent
• Project Honeypot的HTTP：BL不仅可以将IP分类为搜索引擎，而且可以将其标记为可疑，并报告自上次活动以来的天数。我在Scala中对协议的实施在这里。
• CIDRAM是一家具有内置支持以验证bot的PHP路由管理器。