الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

جدار حماية GPT العظيم؟

هذه المجموعة عبارة عن قائمة منسقة من مواقع الويب التي تستخدم ملف robots.txt لتقييد الوصول إلى وكلاء الذكاء الاصطناعي ، و Ai Crawlers و GPTs.

سيتم تحديثه شهريًا.

We need a plan!

وكلاء المستخدم و robots.txt

يتيح ملف robots.txt لمالكي المواقع التحكم في وصول وكلاء المستخدمين إلى مجالات معينة من موقع الويب الخاص بهم من خلال تحديد القواعد والتوجيهات. 

 # OpenAI’s web crawler: GPT3.5, GPT4, ChatGPT
# https://platform.openai.com/docs/bots
User-agent: GPTBot

# ChatGPT plugins
# https://platform.openai.com/docs/bots
User-agent: ChatGPT-User

# OpenAI Search bot
# https://platform.openai.com/docs/bots
User-agent: OAI-SearchBot

# Google's web crawler: Bard, VertexAI, Gemini
# https://blog.google/technology/ai/an-update-on-web-publisher-controls/
User-agent: Google-Extended

# Apple's web crawler, dedicated to GenAI projects
# https://support.apple.com/en-us/119829
User-agent: Applebot-Extended

# Claude
User-agent: anthropic-ai

# Claude Bot
User-agent: ClaudeBot

# Claude web
User-agent: Claude-Web

# Cohere
User-agent: Cohere-ai

# Perplexity
User-agent: PerplexityBot

# Common Crawl
# https://commoncrawl.org/ccbot
User-agent: CCBot

# Omglibot: webz.io
# https://webz.io/blog/web-data/what-is-the-omgili-bot-and-why-is-it-crawling-your-website/
User-agent: Omgilibot
User-agent: Omgili
User-agent: Webzio-Extended

# Facebook: Llama
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot

# ByteDance: Duobao
User-agent: Bytespider

# Censorship area
Disallow: /

تنصل

يرجى ملاحظة أن قائمة الكتلة هذه مخصصة لأغراض إعلامية فقط. على الرغم من اسم المشروع المثير ، من الجيد عدم السماح بزحف الويب وحماية ملكية المحتوى.

2024-05 تحديث

الفئة: اضغط

  • ممسوح: 66
  • ✅ المرور: 38 ٪
  • ؟ محظور: 62 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
التايمز ؟ ؟
بي بي سي ؟ ؟
الوصي ؟ ؟
الاقتصادي ؟ ؟
الأوقات المالية ؟ ؟
المستقلة ؟ ✅
التلغراف ؟ ؟
ديلي ميل ؟ ؟
الشمس ؟ ؟
ديلي ميرور ؟ ؟
ديلي إكسبريس ؟ ؟
واشنطن بوست ؟ ؟
الولايات المتحدة الأمريكية اليوم ؟ ✅
فوكس نيوز ؟ ✅
أخبار ABC ؟ ؟
أخبار NBC ؟ ؟
أخبار CBS ؟ ؟
لوس أنجلوس تايمز ؟ ؟
شيكاغو تريبيون ؟ ✅
نيويورك بوست ؟ ؟
نيويورك ديلي نيوز ؟ ✅
نيويوركر ؟ ؟
نائب ؟ ✅
نيويورك تايمز ؟ ؟
وول ستريت جورنال ؟ ؟
سي إن إن ؟ ؟
إل بايس ؟ ✅
Süddeutsche Zeitung ؟ ؟
دير سبيجل ؟ ؟
كوريير ديلا سيرا ؟ ؟
La Repubblica ؟ ؟
لو موند ؟ ؟
تحرير ؟ ؟
لو فيجارو ؟ ؟
20 دقيقة ؟ ؟
أوست فرنسا ؟ ؟
لو باريزيان ؟ ؟
L'Equipe ؟ ؟
لو بوينت ؟ ؟
ماريان ؟ ؟
Le Nouvel Observateur ؟ ؟
ل. إكسبريس ؟ ؟
فرنسا 24 ؟ ؟
BFMTV ؟ ؟
CNEWS ؟ ✅
لو موندي الدبلوماسي ؟ ✅
Mediapart ؟ ؟
Courrier International ؟ ؟
وحشية ؟ ✅
IMDB ؟ ✅
توليد ؟ ✅
فاكت ؟ ✅
سوبر إكسبريس ؟ ✅
الجزاز ويبوركزا ؟ ؟
RzeczpospoSlita ؟ ✅
Dziennik Gazeta Prawna ؟ ✅
Polityka ؟ ✅
نيوزويك بولسكا ؟ ✅
Gość Niedzielny ؟ ✅
sieci ؟ ✅
تفعل rzeczy ؟ ✅
Twój Styl ؟ ✅
Zwierciadło ؟ ✅
wysokie obcasy extra ؟ ؟
باني ؟ ✅
إيلي ؟ ✅

الفئة: فيديو عند الطلب

  • ممسوحات: 9
  • ✅ المرور: 56 ٪
  • ؟ محظور: 44 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
فيديو رئيسي ؟ ✅
Netflix ؟ ✅
ديزني+ ؟ ؟
هولو ؟ ؟
HBO ماكس ؟ ✅
قناة+ ؟ ؟
Francetv ؟ ✅
TF1 ؟ ؟
6 بلاي ؟ ✅

الفئة: الموسيقى

  • ممسوح: 6
  • ✅ المرور: 67 ٪
  • ؟ محظور: 33 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
SoundCloud ؟ ؟
يوتيوب ؟ ✅
Apple Music ؟ ✅
سبوتيفي ؟ ؟
ديزر ؟ ✅
LASTFM ؟ ✅

الفئة: بودكاست

  • ممسوح ضوئي: 8
  • ✅ المرور: 75 ٪
  • ؟ محظور: 25 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
بودكاست جوجل ؟ ✅
بودكاست Apple ؟ ✅
Spotify Podcaster ؟ ؟
buzzsprout ؟ ✅
Podbean ؟ ✅
Acast ؟ ✅
السمعية ؟ ✅
راديو فرنسا ؟ ؟

الفئة: x

  • ممسوح: 6
  • ✅ المرور: 67 ٪
  • ؟ محظور: 33 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
الإباحية ؟ ؟
youporn ؟ ؟
xnxx ؟ ✅
السادس عشر ؟ ✅
Xhamster ؟ ✅
فقط فان ؟ ✅

الفئة: الدين

  • ممسوحات: 5
  • ✅ المرور: 100 ٪
  • ؟ محظور: 0 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
الكتاب المقدس ؟ ✅
بوابة الكتاب المقدس ؟ ✅
شهود يهوه ؟ ✅
الفاتيكان ؟ ✅
الإسلاميب ؟ ✅

الفئة: وسائل التواصل الاجتماعي

  • ممسوح ضوئي: 13
  • ✅ المرور: 31 ٪
  • ؟ محظور: 62 ٪
  • ❓ غير معروف: 8 ٪
اسم دولة حالة
فيسبوك ؟ ؟
Instagram ؟ ؟
رديت ؟ ✅
أخبار هاكر ؟ ❓
الكركند ؟ ؟
بينتيريست ؟ ؟
تيخوك ؟ ✅
تغريد ؟ ؟
LinkedIn ؟ ✅
Quora ؟ ؟
VK ؟ ✅
TripAdvisor ؟ ؟
عواء ؟ ؟

الفئة: فنان

  • ممسوح ضوئي: 42
  • ✅ المرور: 76 ٪
  • ؟ محظور: 19 ٪
  • ❓ غير معروف: 5 ٪
اسم دولة حالة
مايكل جاكسون ؟ ✅
مادونا ؟ ✅
تايلور سويفت ؟ ؟
ريهانا ؟ ✅
برونو المريخ ؟ ✅
جاستن بيبر ؟ ؟
بيونسي ؟ ✅
كاتي بيري ؟ ؟
المطربه سيدة غاغا ؟ ؟
هاردويل ؟ ✅
ديميتري فيغاس ومايك ؟ ✅
كاني ويست ؟ ❓
بازلاء سوداء العينين ؟ ✅
تخيل التنانين ؟ ✅
طيار واحد وعشرون ؟ ✅
مارون 5 ؟ ؟
سيلينا جوميز ؟ ؟
مرشد ؟ ؟
stromae ؟ ✅
آية ناكامورا ؟ ❓
السوبرانو ؟ ✅
جوني هالياي ؟ ✅
جراند فيلق مالاد ؟ ✅
زاهو ؟ ✅
جان لويس أوبرت ؟ ✅
كاميليا جوردانا ؟ ✅
إنداثي ؟ ✅
Tryo ؟ ✅
ديفيد غيتا ؟ ✅
ماك سولار ؟ ✅
زاز ؟ ✅
كريستين والملكات ؟ ✅
شارع DES البث ؟ ✅
كالوجيرو ؟ ✅
هوشي ؟ ✅
avicii ؟ ✅
أديل ؟ ✅
كالفن هاريس ؟ ✅
إد شيران ؟ ✅
قرود القطب الشمالي ؟ ✅
كولدبلاي ؟ ✅
The Weeknd ؟ ؟

الفئة: الحكومة

  • ممسوحات: 3
  • ✅ المرور: 100 ٪
  • ؟ محظور: 0 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
البيت الأبيض ؟ ✅
elysée ؟ ✅
أوروبا ؟ ✅

الفئة: العلم

  • ممسوح: 28
  • ✅ المرور: 82 ٪
  • ؟ محظور: 18 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
الباحث العلمي من Google ؟ ✅
Sci-hub ؟ ✅
PubPeer ؟ ✅
Scopus ؟ ؟
إلسفير ؟ ؟
Scienceirect ؟ ؟
MDPI ؟ ✅
سبرينغر ؟ ✅
وايلي ؟ ✅
الجمعية الكيميائية الأمريكية ؟ ✅
PubMed ؟ ✅
الأوساط الأكاديمية ؟ ✅
علوم ؟ ؟
arxiv ؟ ✅
الجمعية الفيزيائية الأمريكية ؟ ✅
منديلي ؟ ✅
طبيعة ؟ ؟
تايلور وفرانسيس ؟ ✅
مطبعة جامعة أكسفورد ؟ ✅
مطبعة جامعة كامبريدج ؟ ✅
الجمعية الملكية للكيمياء ؟ ✅
ResearchGate ؟ ✅
BNF ؟ ✅
ركام من حجارة ؟ ✅
برسي ؟ ✅
غاليكا ؟ ✅
هال ؟ ✅
فتح ؟ ✅

الفئة: ديف

  • ممسوحات: 3
  • ✅ المرور: 67 ٪
  • ؟ محظور: 33 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
جيثب ؟ ✅
جيتلاب ؟ ✅
مكدس فائض ؟ ؟

الفئة: محتوى آخر

  • ممسوح ضوئي: 19
  • ✅ المرور: 74 ٪
  • ؟ محظور: 26 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
ويكيبيديا ؟ ✅
واسطة ؟ ؟
بديلة ؟ ✅
الزحف المشترك ؟ ✅
أرشيف الإنترنت ؟ ✅
آلة Wayback ؟ ✅
فكرة ؟ ✅
طقس ؟ ؟
accuweather ؟ ✅
ميتيو فرنسا ؟ ✅
غيتي الصور ؟ ✅
Shutterstock ؟ ؟
أسهم Adobe ؟ ؟
غير مصممة ؟ ؟
Pexels ؟ ✅
pixabay ؟ ✅
فليكر ؟ ✅
500 بكسل ؟ ✅
جيبهي ؟ ✅

الفئة: أخرى

  • ممسوح ضوئي: 1
  • ✅ المرور: 100 ٪
  • ؟ محظور: 0 ٪
  • ❓ غير معروف: 0 ٪
اسم دولة حالة
بالفعل ؟ ✅

قائمة WTF

AKA: هل يفهمون نموذج أعمالهم؟ ؟

اسم حالة
غيتي الصور ✅
Pexels ✅
500 بكسل ✅

قائمة العار

AKA: هذا هو المصلحة العامة. ؟

اسم حالة
واسطة ؟
Quora ؟
إلسفير ؟
Scopus ؟
علوم ؟
Scienceirect ؟
طبيعة ؟

؟ المساهمة

تبحث عن مساهمات:

  • TRICH DATABASE
  • مواقع الويب الصينية
  • فئات جديدة

الرجاء فتح القضايا!

  • Ping Me على TwitterSamuelberthe (DMS ، يذكر ، أيا كان :))
  • شوكة المشروع
  • إصلاح المشكلات المفتوحة أو طلب ميزات جديدة

لا تتردد ؛)

يبني 

python -m venv venv
source ./venv/bin/activate
pip3 install -r requirements.txt
python3 scrape.py
# then copy the last version into readme

؟ المساهمين

؟ أظهر دعمك

إعطاء ️ إذا ساعدك هذا المشروع!

رخصة

حقوق الطبع والنشر © 2024 صموئيل بيرث.

هذا المشروع مرخص معهد ماساتشوستس للتكنولوجيا.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل