legitbot

Легитбот

Ruby Gem, чтобы убедиться, что IP действительно принадлежит боту, обычно поисковой системой.

Использование

Предположим, у вас есть веб -запрос, и вы хотели бы проверить, что он не раскаивается:

 bot = Legitbot . bot ( userAgent , ip )

bot будет nil , если в User-Agent не было найдено никакой подписи бота. В противном случае это будет объект с методами

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

Иногда вы уже знаете, какую поисковую систему ожидать. Например, вы можете использовать Attack:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

Или, если вам не нравятся все эти ужасные сканеры, крадущие ваш контент, оценивая его и готовится вторгаться на ваш сайт с спамерами, затем заблокируйте их все:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Версии

Семантическое управление версиями со следующими разъяснениями:

• Незначительная версия увеличивается, когда добавлена ​​поддержка новых ботов.
• Патч -версия увеличивается при логике проверки для изменений бота (например, список IP обновляется).

Поддерживается

• Ахрефс
• Amazonbot
• Amazon Adbot
• Applebot
• Baidu Spider
• Бингбот
• Blexbot (webmeup)
• DATAFORSEO
• Duckduckgo Bot
• Google Crawlers
• IAS
• Openai Gptbot
• Oracle Data Cloud Crawler
• Маргинальные
• Мета / Facebook веб -сканеры
• Поисковая система лепестки
• Pinterest
• Twitterbot, список IPS находится на странице устранения неполадок
• Яндекс Роботы
• You.com

Лицензия

Apache 2.0

Другие проекты

• Вариант воспроизведения в Scala: Play-Legitbot
• Статья Когда (фальшивые) Googlebots атакуют приложение Rails
• Voight-Kampff-это рубиновый жемчужина, который обнаруживает ботов по User-Agent
• Crawler_detect-это промежуточное программное обеспечение Ruby Gem и Rack для обнаружения Crawlers по нескольким заголовкам запросов, включая User-Agent
• HTTP Project Honeypot: BL может не только классифицировать IP как поисковую систему, но и назвать их как подозрительные и сообщает о количестве дней с момента последнего занятия. Моя реализация протокола в Scala здесь.
• Cidram является менеджером по маршрутизации PHP со встроенной поддержкой для проверки ботов.