the great gpt firewall

훌륭한 GPT 방화벽?

이 컬렉션은 robots.txt 파일을 사용하여 AI 에이전트, AI 크롤러 및 GPT에 대한 액세스를 제한하는 선별 된 웹 사이트 목록입니다.

매월 업데이트됩니다.

사용자 에이전트 & robots.txt

robots.txt 파일을 사용하면 웹 사이트 소유자가 규칙 및 지침을 지정하여 웹 사이트의 특정 영역으로 이러한 사용자 에이전트의 액세스를 제어하고 제한 할 수 있습니다.

 # OpenAI’s web crawler: GPT3.5, GPT4, ChatGPT
# https://platform.openai.com/docs/bots
User-agent: GPTBot

# ChatGPT plugins
# https://platform.openai.com/docs/bots
User-agent: ChatGPT-User

# OpenAI Search bot
# https://platform.openai.com/docs/bots
User-agent: OAI-SearchBot

# Google's web crawler: Bard, VertexAI, Gemini
# https://blog.google/technology/ai/an-update-on-web-publisher-controls/
User-agent: Google-Extended

# Apple's web crawler, dedicated to GenAI projects
# https://support.apple.com/en-us/119829
User-agent: Applebot-Extended

# Claude
User-agent: anthropic-ai

# Claude Bot
User-agent: ClaudeBot

# Claude web
User-agent: Claude-Web

# Cohere
User-agent: Cohere-ai

# Perplexity
User-agent: PerplexityBot

# Common Crawl
# https://commoncrawl.org/ccbot
User-agent: CCBot

# Omglibot: webz.io
# https://webz.io/blog/web-data/what-is-the-omgili-bot-and-why-is-it-crawling-your-website/
User-agent: Omgilibot
User-agent: Omgili
User-agent: Webzio-Extended

# Facebook: Llama
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot

# ByteDance: Duobao
User-agent: Bytespider

# Censorship area
Disallow: /

부인 성명

이 블록리스트는 정보 제공 목적으로 만 사용됩니다. 프로젝트 이름을 짜는 것은 웹 크롤링을 허용하지 않고 컨텐츠 소유권을 보호하는 것이 좋습니다.

2024-05 업데이트

카테고리 : 누릅니다

• 스캔 : 66
• ✅ 통과 : 38 %
• ? 차단 : 62 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
시간	??	?
BBC	??	?
가디언	??	?
경제학자	??	?
금융 시간	??	?
독립	??	✅
전신	??	?
데일리 메일	??	?
태양	??	?
데일리 미러	??	?
데일리 익스프레스	??	?
워싱턴 포스트	??	?
미국 오늘	??	✅
폭스 뉴스	??	✅
ABC 뉴스	??	?
NBC 뉴스	??	?
CBS 뉴스	??	?
로스 앤젤레스 타임즈	??	?
시카고 트리뷴	??	✅
뉴욕 포스트	??	?
뉴욕 데일리 뉴스	??	✅
뉴요커	??	?
바이스	??	✅
뉴욕 타임즈	??	?
월스트리트 저널	??	?
CNN	??	?
엘 파이	??	✅
Süddeutsche Zeitung	??	?
Der Spiegel	??	?
Corriere Della Sera	??	?
LA Repubblica	??	?
르 몬드	??	?
해방	??	?
르 피가로	??	?
20 분	??	?
외피 프랑스	??	?
르 파리엔	??	?
L 'Equipe	??	?
르 포인트	??	?
마리안	??	?
Le Nouvel Observateur	??	?
L 'Express	??	?
프랑스 24	??	?
BFMTV	??	?
cnews	??	✅
르 몬드 외교관	??	✅
미디어 파트	??	?
코리어 국제	??	?
잔인한	??	✅
IMDB	?	✅
알로신	??	✅
fakt	??	✅
슈퍼 익스프레스	??	✅
가제타 와이보크자	??	?
rzeczpospolita	??	✅
Dziennik Gazeta Prawna	??	✅
Polityka	??	✅
Newsweek Polska	??	✅
Gość Niedzielny	??	✅
SIECI	??	✅
rzeczy를하십시오	??	✅
Twój 스타일	??	✅
Zwierciadło	??	✅
Wysokie Obcasy 추가	??	?
파니	??	✅
엘	??	✅

카테고리 : 주문형 비디오

• 스캔 : 9
• ✅ 통과 : 56 %
• ? 차단 : 44 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
주요 비디오	?	✅
넷플릭스	?	✅
디즈니+	?	?
훌루	??	?
HBO 맥스	??	✅
운하+	??	?
Francetv	??	✅
TF1	??	?
6 플레이	??	✅

카테고리 : 음악

• 스캔 : 6
• ✅ 통과 : 67 %
• ? 차단 : 33 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
SoundCloud	?	?
YouTube	?	✅
애플 음악	?	✅
Spotify	?	?
Deezer	??	✅
마지막 FM	??	✅

카테고리 : 팟 캐스트

• 스캔 : 8
• ✅ 통과 : 75 %
• ? 차단 : 25 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
Google 팟 캐스트	?	✅
애플 팟 캐스트	?	✅
Spotify Podcaster	?	?
Buzzsprout	?	✅
Podbean	?	✅
에코	??	✅
오디오 앤	??	✅
라디오 프랑스	??	?

카테고리 : x

• 스캔 : 6
• ✅ 통과 : 67 %
• ? 차단 : 33 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
포르노브	?	?
youporn	?	?
xnxx	?	✅
xvideos	?	✅
Xhamster	?	✅
만	?	✅

카테고리 : 종교

• 스캔 : 5
• ✅ 통과 : 100 %
• ? 차단 : 0 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
성경	??	✅
성경 게이트웨이	??	✅
여호와의 증인	??	✅
바티칸 궁전	??	✅
이슬람 웹	?	✅

카테고리 : 소셜 미디어

• 스캔 : 13
• ✅ 통과 : 31 %
• ? 차단 : 62 %
• ❓ 알 수없는 : 8 %

이름	국가	상태
페이스 북	?	?
인스 타 그램	?	?
레딧	?	✅
해커 뉴스	?	❓
랍스터	?	?
Pinterest	?	?
Tiktok	?	✅
지저귀다	?	?
LinkedIn	?	✅
Quora	?	?
VK	??	✅
트립 어드바이저	?	?
개가 깽깽 우는 소리	?	?

카테고리 : 아티스트

• 스캔 : 42
• ✅ 통과 : 76 %
• ? 차단 : 19 %
• ❓ 알 수 없음 : 5 %

이름	국가	상태
마이클 잭슨	??	✅
성모 마리아	??	✅
테일러 스위프트	??	?
리한나	??	✅
브루노 화성	??	✅
저스틴 비버	??	?
비욘세	??	✅
케이티 페리	??	?
레이디 가가	??	?
하드 웰	??	✅
Dimitri Vegas & Mike Mike	??	✅
Kanye West	??	❓
블랙 아이드 완두콩	??	✅
용 상상해보십시오	??	✅
21 명의 조종사	??	✅
적갈색 5	??	?
셀레나 고메즈	??	?
수위	??	?
stromae	??	✅
아야 나카무라	??	❓
소프라노	??	✅
조니 hallyday	??	✅
그랜드 군단의 말 드	??	✅
자호	??	✅
장 루이 오버트	??	✅
카멜리아 조던	??	✅
인도 로신	??	✅
Tryo	??	✅
데이비드 게타	??	✅
MC Solaar	??	✅
Zaz	??	✅
크리스틴과 여왕	??	✅
Boulevard des Airs	??	✅
Calogero	??	✅
호시	??	✅
avicii	??	✅
아델	??	✅
캘빈 해리스	??	✅
Ed Sheeran	??	✅
북극 원숭이	??	✅
콜드 플레이	??	✅
주간	??	?

카테고리 : GOV

• 스캔 : 3
• ✅ 통과 : 100 %
• ? 차단 : 0 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
백악관	??	✅
Elysée	??	✅
유럽	??	✅

카테고리 : 과학

• 스캔 : 28
• ✅ 통과 : 82 %
• ? 차단 : 18 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
Google 학술 검색	?	✅
공상 과학	?	✅
Pubpeer	?	✅
Scopus	??	?
elsevier	??	?
과학	??	?
MDPI	??	✅
뛰는 것	??	✅
와일리	??	✅
미국 화학 학회	??	✅
PubMed	??	✅
학계	??	✅
과학	??	?
arxiv	??	✅
미국 물리 사회	??	✅
멘델리	??	✅
자연	??	?
테일러 & 프랜시스	??	✅
옥스포드 대학 출판부	??	✅
케임브리지 대학교 출판부	??	✅
왕립 화학 학회	??	✅
연구 게이트	??	✅
BNF	??	✅
케른	??	✅
페리	??	✅
갈리카	??	✅
할	??	✅
개방	??	✅

카테고리 : Dev

• 스캔 : 3
• ✅ 통과 : 67 %
• ? 차단 : 33 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
github	?	✅
gitlab	?	✅
스택 오버플로	?	?

카테고리 : 기타 콘텐츠

• 스캔 : 19
• ✅ 통과 : 74 %
• ? 차단 : 26 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
위키 백과	?	✅
중간	?	?
Substack	?	✅
일반적인 크롤링	?	✅
인터넷 아카이브	?	✅
웨이 백 머신	?	✅
개념	?	✅
날씨	??	?
Accuweather	??	✅
메테오 프랑스	??	✅
게티 이미지	??	✅
셔터 스탁	??	?
Adobe Stock	??	?
Unsplash	??	?
Pexels	??	✅
Pixabay	??	✅
flickr	??	✅
500px	??	✅
지피	??	✅

카테고리 : 기타

• 스캔 : 1
• ✅ 통과 : 100 %
• ? 차단 : 0 %
• ❓ 알 수 없음 : 0 %

이름	국가	상태
물론	??	✅

WTF 목록

AKA : 비즈니스 모델을 이해합니까? ?

이름	상태
게티 이미지	✅
Pexels	✅
500px	✅

수치심 목록

AKA : 이것은 공익입니다. ?

이름	상태
중간	?
Quora	?
elsevier	?
Scopus	?
과학	?
과학	?
자연	?

? 기여

기부금 찾기 :

• 웹 사이트 데이터베이스를 강화하십시오
• 중국 웹 사이트
• 새로운 카테고리

문제를 열어주세요!

• 트위터 @samuelberthe (dms, 언급, 무엇이든 :)
• 프로젝트를 포크하십시오
• 열린 문제를 해결하거나 새로운 기능을 요청하십시오

주저하지 마십시오;)

짓다

python -m venv venv
source ./venv/bin/activate
pip3 install -r requirements.txt
python3 scrape.py
# then copy the last version into readme 

? 기고자

? 지원을 보여주세요

이 프로젝트가 도움이된다면 ️를주세요!

특허

Copyright © 2024 Samuel Berthe.

이 프로젝트는 MIT 라이센스가 부여되었습니다.