Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Firewall GPT yang hebat?

Koleksi ini adalah daftar situs web yang dikuratori yang menggunakan file robots.txt untuk membatasi akses ke agen AI, crawler AI dan GPT.

Ini akan diperbarui setiap bulan.

We need a plan!

Agen pengguna & robot.txt

File robots.txt memungkinkan pemilik situs web untuk mengontrol dan membatasi akses agen pengguna ini ke area tertentu dari situs web mereka dengan menentukan aturan dan arahan. 

 # OpenAI’s web crawler: GPT3.5, GPT4, ChatGPT
# https://platform.openai.com/docs/bots
User-agent: GPTBot

# ChatGPT plugins
# https://platform.openai.com/docs/bots
User-agent: ChatGPT-User

# OpenAI Search bot
# https://platform.openai.com/docs/bots
User-agent: OAI-SearchBot

# Google's web crawler: Bard, VertexAI, Gemini
# https://blog.google/technology/ai/an-update-on-web-publisher-controls/
User-agent: Google-Extended

# Apple's web crawler, dedicated to GenAI projects
# https://support.apple.com/en-us/119829
User-agent: Applebot-Extended

# Claude
User-agent: anthropic-ai

# Claude Bot
User-agent: ClaudeBot

# Claude web
User-agent: Claude-Web

# Cohere
User-agent: Cohere-ai

# Perplexity
User-agent: PerplexityBot

# Common Crawl
# https://commoncrawl.org/ccbot
User-agent: CCBot

# Omglibot: webz.io
# https://webz.io/blog/web-data/what-is-the-omgili-bot-and-why-is-it-crawling-your-website/
User-agent: Omgilibot
User-agent: Omgili
User-agent: Webzio-Extended

# Facebook: Llama
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot

# ByteDance: Duobao
User-agent: Bytespider

# Censorship area
Disallow: /

Penafian

Harap dicatat bahwa blocklist ini dimaksudkan untuk tujuan informasi saja. Terlepas dari nama proyek yang memprovokasi, tidak apa -apa untuk melarang web merangkak dan melindungi kepemilikan konten.

Pembaruan 2024-05

Kategori: Tekan

  • Pindaian: 66
  • ✅ lewat: 38 %
  • ? Diblokir: 62 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Zaman ?? ?
BBC ?? ?
Wali ?? ?
Ekonom ?? ?
Waktu Keuangan ?? ?
The Independent ?? ✅
The Telegraph ?? ?
Surat harian ?? ?
Matahari ?? ?
Cermin harian ?? ?
Express Harian ?? ?
Washington Post ?? ?
USA Today ?? ✅
Berita rubah ?? ✅
ABC News ?? ?
NBC News ?? ?
Berita CBS ?? ?
Los Angeles Times ?? ?
Chicago Tribune ?? ✅
New York Post ?? ?
New York Daily News ?? ✅
The New Yorker ?? ?
Keburukan ?? ✅
New York Times ?? ?
Wall Street Journal ?? ?
CNN ?? ?
El País ?? ✅
Süddeutsche Zeitung ?? ?
Der Spiegel ?? ?
Corriere Della Sera ?? ?
La Repubblica ?? ?
Le Monde ?? ?
Pembebasan ?? ?
Le figaro ?? ?
20 menit ?? ?
OUest Prancis ?? ?
Le Parisien ?? ?
L'Equipe ?? ?
Le point ?? ?
Marianne ?? ?
Le Nouvel Observateur ?? ?
L'Epress ?? ?
Prancis 24 ?? ?
BFMTV ?? ?
Cnews ?? ✅
Diplomasi Le Monde ?? ✅
Mediapart ?? ?
Courrier International ?? ?
Brut ?? ✅
IMDB ? ✅
Alokin ?? ✅
Fakt ?? ✅
Super Express ?? ✅
Gazeta Wyborcza ?? ?
Rzeczpospolita ?? ✅
Dziennik Gazeta Prawna ?? ✅
Polityka ?? ✅
Newsweek Polska ?? ✅
Gość Niedzielny ?? ✅
Sieci ?? ✅
Lakukan rzeczy ?? ✅
Twój Styl ?? ✅
Zwierciadło ?? ✅
Wysokie bertentangan dengan ekstra ?? ?
Pani ?? ✅
Elle ?? ✅

Kategori: Video sesuai permintaan

  • Dipindai: 9
  • ✅ lewat: 56 %
  • ? Diblokir: 44 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Video Prime ? ✅
Netflix ? ✅
Disney+ ? ?
Hulu ?? ?
HBO Max ?? ✅
Kanal+ ?? ?
Francetv ?? ✅
Tf1 ?? ?
6play ?? ✅

Kategori: Musik

  • Dipindai: 6
  • ✅ lewat: 67 %
  • ? Diblokir: 33 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Soundcloud ? ?
YouTube ? ✅
Apple Music ? ✅
Spotify ? ?
DEEZER ?? ✅
Lastfm ?? ✅

Kategori: Podcast

  • Dipindai: 8
  • ✅ lewat: 75 %
  • ? Diblokir: 25 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Google Podcast ? ✅
Podcast Apple ? ✅
Spotify Podcaster ? ?
Buzzsprout ? ✅
Podbean ? ✅
Acast ?? ✅
Audiomeans ?? ✅
Radio France ?? ?

Kategori: x

  • Dipindai: 6
  • ✅ lewat: 67 %
  • ? Diblokir: 33 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Pornhub ? ?
You porn ? ?
Xnxx ? ✅
Xvideos ? ✅
Xhamster ? ✅
Onlyfan ? ✅

Kategori: Agama

  • Pindaian: 5
  • ✅ lewat: 100 %
  • ? Diblokir: 0 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Alkitab ?? ✅
Gateway Alkitab ?? ✅
Saksi -Saksi Yehuwa ?? ✅
Vatikan ?? ✅
Islamweb ? ✅

Kategori: Media Sosial

  • Pindaian: 13
  • ✅ lewat: 31 %
  • ? Diblokir: 62 %
  • ❓ Tidak Diketahui: 8 %
Nama Negara Status
Facebook ? ?
Instagram ? ?
Reddit ? ✅
Berita peretas ? ❓
Lobster ? ?
Pinterest ? ?
Tiktok ? ✅
Twitter ? ?
LinkedIn ? ✅
Quora ? ?
VK ?? ✅
TripAdvisor ? ?
Menyalak ? ?

Kategori: Artis

  • Pindaian: 42
  • ✅ lewat: 76 %
  • ? Diblokir: 19 %
  • ❓ Tidak Diketahui: 5 %
Nama Negara Status
Michael Jackson ?? ✅
Madonna ?? ✅
Taylor Swift ?? ?
Rihanna ?? ✅
Bruno Mars ?? ✅
Justin Bieber ?? ?
Beyonce ?? ✅
Katy Perry ?? ?
Lady Gaga ?? ?
Hardwell ?? ✅
Dimitri Vegas & Seperti Mike ?? ✅
Kanye West ?? ❓
Kacang polong hitam ?? ✅
Bayangkan naga ?? ✅
Dua puluh satu pilot ?? ✅
Maroon 5 ?? ?
Selena Gomez ?? ?
Mengantar ?? ?
Stromae ?? ✅
Aya Nakamura ?? ❓
Sopran ?? ✅
Johnny Hallyday ?? ✅
Grand Corps Malade ?? ✅
Zaho ?? ✅
Jean Louis Aubert ?? ✅
Camelia Jordana ?? ✅
Indochine ?? ✅
Tryo ?? ✅
David Guetta ?? ✅
MC Solaar ?? ✅
Zaz ?? ✅
Christine and the Queens ?? ✅
Boulevard des Airs ?? ✅
Calogero ?? ✅
Hoshi ?? ✅
Avicii ?? ✅
Adele ?? ✅
Calvin Harris ?? ✅
Ed Sheeran ?? ✅
Monyet Arktik ?? ✅
Coldplay ?? ✅
The Weeknd ?? ?

Kategori: Pemerintah

  • Dipindai: 3
  • ✅ lewat: 100 %
  • ? Diblokir: 0 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
gedung Putih ?? ✅
Elysée ?? ✅
Eropa ?? ✅

Kategori: Sains

  • Pindaian: 28
  • ✅ lewat: 82 %
  • ? Diblokir: 18 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Google Cendekia ? ✅
Sci-hub ? ✅
Pubpeer ? ✅
Scopus ?? ?
Elsevier ?? ?
Sciencedirect ?? ?
Mdpi ?? ✅
Peloncat ?? ✅
Wiley ?? ✅
Masyarakat Kimia Amerika ?? ✅
PubMed ?? ✅
Akademisi ?? ✅
Sains ?? ?
Arxiv ?? ✅
Masyarakat Fisik Amerika ?? ✅
Mendeley ?? ✅
Alam ?? ?
Taylor & Francis ?? ✅
Oxford University Press ?? ✅
Cambridge University Press ?? ✅
Royal Society of Chemistry ?? ✅
ResearchGate ?? ✅
BNF ?? ✅
Piramida dr batu kasar ?? ✅
Persee ?? ✅
Gallica ?? ✅
Hal ?? ✅
Buka ?? ✅

Kategori: Dev

  • Dipindai: 3
  • ✅ lewat: 67 %
  • ? Diblokir: 33 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
GitHub ? ✅
Gitlab ? ✅
Stack overflow ? ?

Kategori: Konten Lainnya

  • Dipindai: 19
  • ✅ lewat: 74 %
  • ? Diblokir: 26 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Wikipedia ? ✅
Sedang ? ?
Substack ? ✅
Perayapan Umum ? ✅
Arsip Internet ? ✅
Mesin wayback ? ✅
Gagasan ? ✅
Cuaca ?? ?
AccuWeather ?? ✅
Météo France ?? ✅
Gambar getty ?? ✅
Shutterstock ?? ?
Saham Adobe ?? ?
Unsplash ?? ?
Pexels ?? ✅
Pixabay ?? ✅
Flickr ?? ✅
500px ?? ✅
Giphy ?? ✅

Kategori: Lainnya

  • Dipindai: 1
  • ✅ lewat: 100 %
  • ? Diblokir: 0 %
  • ❓ Tidak Diketahui: 0 %
Nama Negara Status
Memang ?? ✅

Daftar WTF

AKA: Apakah mereka memahami model bisnis mereka? ?

Nama Status
Gambar getty ✅
Pexels ✅
500px ✅

Daftar malu

AKA: Ini adalah kepentingan publik. ?

Nama Status
Sedang ?
Quora ?
Elsevier ?
Scopus ?
Sains ?
Sciencedirect ?
Alam ?

? Berkontribusi

Mencari kontribusi:

  • Database Situs Web Engrich
  • Situs web Cina
  • Kategori baru

Harap buka masalah!

  • Ping saya di twitter @samuelberthe (dms, menyebutkan, apa pun :))
  • Garpu proyek
  • Perbaiki masalah terbuka atau minta fitur baru

Jangan ragu;)

Membangun 

python -m venv venv
source ./venv/bin/activate
pip3 install -r requirements.txt
python3 scrape.py
# then copy the last version into readme

? Kontributor

? Tunjukkan dukungan Anda

Berikan ️ jika proyek ini membantu Anda!

Lisensi

Hak Cipta © 2024 Samuel Berthe.

Proyek ini berlisensi MIT.

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua