ホーム>プログラミング関連>その他のソースコード
ダウンロード

グレートGPTファイアウォール？

このコレクションは、AIエージェント、AIクロール、GPTSへのアクセスを制限するためにrobots.txtファイルを使用するWebサイトのキュレーションされたリストです。

毎月更新されます。

We need a plan!

ユーザーエージェント＆robots.txt

robots.txtファイルを使用すると、ウェブサイトの所有者は、ルールとディレクティブを指定することにより、これらのユーザーエージェントの特定の領域へのアクセスを制御および制限できます。 

 # OpenAI’s web crawler: GPT3.5, GPT4, ChatGPT
# https://platform.openai.com/docs/bots
User-agent: GPTBot

# ChatGPT plugins
# https://platform.openai.com/docs/bots
User-agent: ChatGPT-User

# OpenAI Search bot
# https://platform.openai.com/docs/bots
User-agent: OAI-SearchBot

# Google's web crawler: Bard, VertexAI, Gemini
# https://blog.google/technology/ai/an-update-on-web-publisher-controls/
User-agent: Google-Extended

# Apple's web crawler, dedicated to GenAI projects
# https://support.apple.com/en-us/119829
User-agent: Applebot-Extended

# Claude
User-agent: anthropic-ai

# Claude Bot
User-agent: ClaudeBot

# Claude web
User-agent: Claude-Web

# Cohere
User-agent: Cohere-ai

# Perplexity
User-agent: PerplexityBot

# Common Crawl
# https://commoncrawl.org/ccbot
User-agent: CCBot

# Omglibot: webz.io
# https://webz.io/blog/web-data/what-is-the-omgili-bot-and-why-is-it-crawling-your-website/
User-agent: Omgilibot
User-agent: Omgili
User-agent: Webzio-Extended

# Facebook: Llama
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot

# ByteDance: Duobao
User-agent: Bytespider

# Censorship area
Disallow: /

免責事項

このブロックリストは、情報目的のみを目的としていることに注意してください。挑発的なプロジェクト名にもかかわらず、Webのrawってコンテンツの所有権を保護することを禁止することは問題ありません。

2024-05アップデート

カテゴリ：押します

  • スキャン：66
  • passion：38％
  • ？ブロック：62％
  • ❓未知：0％
名前国状態
時代?? ？
BBC ?? ？
ガーディアン?? ？
エコノミスト?? ？
Financial Times ?? ？
独立?? ✅
電信?? ？
デイリーメール?? ？
太陽?? ？
毎日の鏡?? ？
デイリーエクスプレス?? ？
ワシントンポスト?? ？
USA TODAY ?? ✅
フォックスニュース?? ✅
ABCニュース?? ？
NBCニュース?? ？
CBSニュース?? ？
ロサンゼルスタイムズ?? ？
シカゴトリビューン?? ✅
ニューヨークポスト?? ？
ニューヨークデイリーニュース?? ✅
ニューヨーカー?? ？
悪?? ✅
ニューヨークタイムズ?? ？
ウォールストリートジャーナル?? ？
CNN ?? ？
エルパイス?? ✅
SüddeutscheZeitung ?? ？
Der Spiegel ?? ？
Corriere Della Sera ?? ？
La Repubblica ?? ？
ル・モンド?? ？
解放?? ？
ル・フィガロ?? ？
20分?? ？
Ouest France ?? ？
ルパリシエン?? ？
l'equipe ?? ？
ルポイント?? ？
マリアンヌ?? ？
Le Nouvel Observateur ?? ？
L'Express ?? ？
フランス24 ?? ？
BFMTV ?? ？
cnews ?? ✅
Le Monde外交官?? ✅
Mediapart ?? ？
Courrier International ?? ？
ブリュット?? ✅
IMDB ？ ✅
アロシン?? ✅
fakt ?? ✅
スーパーエクスプレス?? ✅
gazeta wyborcza ?? ？
rzeczpospolita ?? ✅
dziennik gazeta prawna ?? ✅
ポリティカ?? ✅
ニューズウィークポルスカ?? ✅
GośćNiedzielny ?? ✅
sieci ?? ✅
rzeczyをします?? ✅
TwójStyl ?? ✅
Zwierciadło ?? ✅
wysokie obcasy extra ?? ？
パニ?? ✅
エル?? ✅

カテゴリ：ビデオオンデマンド

  • スキャン：9
  • passion：56％
  • ？ブロック：44％
  • ❓未知：0％
名前国状態
プライムビデオ？ ✅
Netflix ？ ✅
ディズニー+ ？ ？
Hulu ?? ？
HBOマックス?? ✅
運河+ ?? ？
francetv ?? ✅
TF1 ?? ？
6プレイ?? ✅

カテゴリ：音楽

  • スキャン：6
  • passion：67％
  • ？ブロック：33％
  • ❓未知：0％
名前国状態
soundcloud ？ ？
YouTube ？ ✅
アップル音楽？ ✅
Spotify ？ ？
ディーザー?? ✅
lastfm ?? ✅

カテゴリ：ポッドキャスト

  • スキャン：8
  • passion：75％
  • ？ブロック：25％
  • ❓未知：0％
名前国状態
Googleポッドキャスト？ ✅
Appleポッドキャスト？ ✅
Spotifyポッドキャスター？ ？
Buzzsprout ？ ✅
ポドビーン？ ✅
アサスト?? ✅
audiomeans ?? ✅
ラジオフランス?? ？

カテゴリ：x

  • スキャン：6
  • passion：67％
  • ？ブロック：33％
  • ❓未知：0％
名前国状態
ポルノハブ？ ？
YouPorn ？ ？
xnxx ？ ✅
xvideos ？ ✅
xhamster ？ ✅
onlyfan ？ ✅

カテゴリ：宗教

  • スキャン：5
  • passion：100％
  • ？ブロック：0％
  • ❓未知：0％
名前国状態
聖書?? ✅
聖書のゲートウェイ?? ✅
エホバの証人?? ✅
バチカン?? ✅
Islamweb ？ ✅

カテゴリ：ソーシャルメディア

  • スキャン：13
  • passion：31％
  • ？ブロック：62％
  • ❓不明：8％
名前国状態
Facebook ？ ？
Instagram ？ ？
reddit ？ ✅
ハッカーニュース？ ❓
ロブスター？ ？
Pinterest ？ ？
ティクトク？ ✅
ツイッター？ ？
LinkedIn ？ ✅
Quora ？ ？
VK ?? ✅
トリップアドバイザー？ ？
YELP ？ ？

カテゴリ：アーティスト

  • スキャン：42
  • passion：76％
  • ？ブロック：19％
  • ❓不明：5％
名前国状態
マイケル・ジャクソン?? ✅
マドンナ?? ✅
テイラー・スウィフト?? ？
リアーナ?? ✅
ブルーノ・マーズ?? ✅
ジャスティンビーバー?? ？
ビヨンセ?? ✅
ケイティ・ペリー?? ？
レディー・ガガ?? ？
ハードウェル?? ✅
ディミトリベガス＆いいねマイク?? ✅
カニエ・ウェスト?? ❓
ブラック·アイド·ピーズ?? ✅
ドラゴンを想像する?? ✅
21人のパイロット?? ✅
マルーン5 ?? ？
セレナ・ゴメス?? ？
アッシャー?? ？
stromae ?? ✅
aya nakamura ?? ❓
ソプラノ?? ✅
ジョニー・ハリーデイ?? ✅
大隊マラデ?? ✅
ザホ?? ✅
ジャン・ルイ・オーバート?? ✅
Camelia Jordana ?? ✅
インドシン?? ✅
トリオ?? ✅
デビッド・ゲッタ?? ✅
MCソラール?? ✅
ザズ?? ✅
クリスティンと女王?? ✅
Boulevard des Airs ?? ✅
カロゲロ?? ✅
hoshi ?? ✅
avicii ?? ✅
アデル?? ✅
カルビン・ハリス?? ✅
エド・シーラン?? ✅
北極猿?? ✅
コールドプレイ?? ✅
weeknd ?? ？

カテゴリ：政府

  • スキャン：3
  • passion：100％
  • ？ブロック：0％
  • ❓未知：0％
名前国状態
ホワイトハウス?? ✅
エリセ?? ✅
ヨーロッパ?? ✅

カテゴリ：科学

  • スキャン：28
  • passion：82％
  • ？ブロック：18％
  • ❓未知：0％
名前国状態
Google Scholar ？ ✅
Sci-Hub ？ ✅
Pubpeer ？ ✅
Scopus ?? ？
エルゼビア?? ？
Sciencedirect ?? ？
MDPI ?? ✅
スプリンガー?? ✅
ワイリー?? ✅
アメリカ化学会?? ✅
PubMed ?? ✅
アカデミア?? ✅
科学?? ？
arxiv ?? ✅
アメリカの物理社会?? ✅
メンデリー?? ✅
自然?? ？
テイラー＆フランシス?? ✅
オックスフォード大学出版局?? ✅
ケンブリッジ大学出版局?? ✅
王立化学協会?? ✅
ResearchGate ?? ✅
BNF ?? ✅
ケルン?? ✅
忍耐?? ✅
ガリカ?? ✅
ハル?? ✅
開放?? ✅

カテゴリ：開発

  • スキャン：3
  • passion：67％
  • ？ブロック：33％
  • ❓未知：0％
名前国状態
github ？ ✅
gitlab ？ ✅
スタックオーバーフロー？ ？

カテゴリ：その他のコンテンツ

  • スキャン：19
  • passion：74％
  • ？ブロック：26％
  • ❓未知：0％
名前国状態
ウィキペディア？ ✅
中くらい？ ？
サブサック？ ✅
一般的なクロール？ ✅
インターネットアーカイブ？ ✅
ウェイバックマシン？ ✅
概念？ ✅
天気?? ？
Accuweather ?? ✅
メテオフランス?? ✅
ゲッティイメージズ?? ✅
シャッターストック?? ？
アドビ在庫?? ？
解釈?? ？
ペクセル?? ✅
ピクサベイ?? ✅
Flickr ?? ✅
500px ?? ✅
ジフィー?? ✅

カテゴリ：その他

  • スキャン：1
  • passion：100％
  • ？ブロック：0％
  • ❓未知：0％
名前国状態
確かに?? ✅

WTFリスト

別名：彼らは彼らのビジネスモデルを理解していますか？ ？

名前状態
ゲッティイメージズ✅
ペクセル✅
500px ✅

恥ずかしいリスト

別名：これは公益です。 ？

名前状態
中くらい？
Quora ？
エルゼビア？
Scopus ？
科学？
Sciencedirect ？
自然？

？貢献

貢献を探しています：

  • Webサイトデータベースを濃縮します
  • 中国のウェブサイト
  • 新しいカテゴリ

問題を開いてください！

  • Twitter @samuelbertheで私をping（DMS、言及している、何でも:)）
  • プロジェクトをフォークします
  • オープンな問題を修正するか、新機能をリクエストします

躊躇しないでください;）

建てる

python -m venv venv
source ./venv/bin/activate
pip3 install -r requirements.txt
python3 scrape.py
# then copy the last version into readme

？貢献者

？あなたのサポートを見せてください

このプロジェクトがあなたを助けたなら、♥を与えてください！

ライセンス

Copyright©2024 Samuel Berthe。

このプロジェクトはMITライセンスです。

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて