legitbot

Legitbot

Ruby Gem確保IP真正屬於機器人，通常是搜索引擎。

用法

假設您有一個Web請求，並且您想檢查它沒有被挖掘：

 bot = Legitbot . bot ( userAgent , ip )

如果在User-Agent中找不到機器人簽名，則bot將nil 。否則，它將是一個具有方法的對象

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

有時您已經知道要期望哪種搜索引擎。例如，您可能正在使用機架攻擊：

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

或者，如果您不喜歡所有這些可怕的爬行者竊取您的內容，對其進行評估並準備用垃圾郵件發送者入侵您的網站，然後將它們全部封鎖：

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

版本控制

具有以下澄清的語義版本控制：

• 添加對新機器人的支持時，次要版本會增加。
• 當機器人更改驗證邏輯時，補丁版將增加（例如，IP列表更新）。

支持

• ahrefs
• AmazonBot
• 亞馬遜adbot
• Applebot
• 百度蜘蛛
• Bingbot
• Blexbot（WebMeup）
• DataForseo
• Duckduckgo Bot
• Google爬行者
• IAS
• Openai gptbot
• 甲骨文數據云爬網
• Marginalia
• 元 / Facebook網絡爬網
• 花瓣搜索引擎
• Pinterest
• Twitterbot，IPS列表在故障排除頁面中
• Yandex機器人
• you.com

執照

Apache 2.0

其他項目

• Scala中的遊戲框架變體：Play-LegitBot
• （假）Googlebots攻擊您的Rails應用程序時的文章
• Voight-Kampff是一种红寶石寶石，可檢測User-Agent
• crawler_detect是一种红寶石寶石和機架中間件，可通過幾個不同的請求標頭檢測爬行者，包括User-Agent
• Project Honeypot的HTTP：BL不僅可以將IP分類為搜索引擎，而且可以將其標記為可疑，並報告自上次活動以來的天數。我在Scala中對協議的實施在這裡。
• CIDRAM是一家具有內置支持以驗證bot的PHP路由管理器。