legitbot

Legitbot

Ruby Gem untuk memastikan bahwa IP benar -benar milik bot, biasanya mesin pencari.

Penggunaan

Misalkan Anda memiliki permintaan web dan Anda ingin memeriksanya tidak digali:

 bot = Legitbot . bot ( userAgent , ip )

bot akan menjadi nil jika tidak ada tanda tangan bot yang ditemukan di User-Agent . Jika tidak, itu akan menjadi objek dengan metode

 bot . detected_as # => :google
bot . valid? # => true
bot . fake? # => false

Terkadang Anda sudah tahu mesin pencari mana yang diharapkan. Misalnya, Anda mungkin menggunakan serangan rak:

 Rack :: Attack . blocklist ( "fake Googlebot" ) do | req |
  req . user_agent =~ %r(Googlebot) && Legitbot :: Google . fake? ( req . ip )
end

Atau jika Anda tidak menyukai semua perayunan mengerikan itu mencuri konten Anda, mengevaluasinya dan bersiap -siap untuk menyerang situs Anda dengan spammer, maka blokir semuanya:

 Rack :: Attack . blocklist 'fake search engines' do | request |
  Legitbot . bot ( request . user_agent , request . ip ) &. fake?
end 

Versi

Versi semantik dengan klarifikasi berikut:

• Versi minor bertambah ketika dukungan untuk bot baru ditambahkan.
• Versi patch bertambah ketika logika validasi untuk perubahan bot (daftar IP diperbarui, misalnya).

Didukung

• Ahrefs
• Amazonbot
• Amazon Adbot
• Applebot
• Baidu Spider
• Bingbot
• BLEXBOT (Webmeup)
• Dataforseo
• Bot Duckduckgo
• Google Crawlers
• IAS
• OpenAI GPTBOT
• Oracle Data Cloud Crawler
• Catatan di pinggir halaman
• Meta / Facebook Web Crawlers
• Mesin pencari kelopak
• Pinterest
• Twitterbot, daftar IPS ada di halaman pemecahan masalah
• Robot Yandex
• You.com

Lisensi

Apache 2.0

Proyek lain

• Varian Play Framework di Scala: Play-Legitbot
• Artikel kapan (palsu) GoogleBots menyerang aplikasi Rails Anda
• Voight-Kampff adalah permata ruby ​​yang mendeteksi bot oleh User-Agent
• crawler_detect adalah permata ruby ​​dan rack middleware untuk mendeteksi crawler dengan beberapa header permintaan yang berbeda, termasuk User-Agent
• Project Honeypot's HTTP: BL tidak hanya dapat mengklasifikasikan IP sebagai mesin pencari, tetapi juga menyebutnya sebagai mencurigakan dan melaporkan jumlah hari sejak aktivitas terakhir. Implementasi protokol saya di Scala ada di sini.
• Cidram adalah manajer perutean PHP dengan dukungan bawaan untuk memvalidasi bot.