Главная страница>Связанные с программированием>Другой исходный код
Скачать

Великий брандмауэр GPT?

Эта коллекция представляет собой куриный список веб -сайтов, которые используют файл robots.txt , чтобы ограничить доступ к агентам искусственного интеллекта, спортсмену ИИ и GPT.

Это будет обновляться ежемесячно.

We need a plan!

Пользовательские агенты и robots.txt

Файл robots.txt позволяет владельцам веб -сайтов контролировать и ограничивать доступ этих пользовательских агентов к определенным областям своего веб -сайта, указав правила и директивы. 

 # OpenAI’s web crawler: GPT3.5, GPT4, ChatGPT
# https://platform.openai.com/docs/bots
User-agent: GPTBot

# ChatGPT plugins
# https://platform.openai.com/docs/bots
User-agent: ChatGPT-User

# OpenAI Search bot
# https://platform.openai.com/docs/bots
User-agent: OAI-SearchBot

# Google's web crawler: Bard, VertexAI, Gemini
# https://blog.google/technology/ai/an-update-on-web-publisher-controls/
User-agent: Google-Extended

# Apple's web crawler, dedicated to GenAI projects
# https://support.apple.com/en-us/119829
User-agent: Applebot-Extended

# Claude
User-agent: anthropic-ai

# Claude Bot
User-agent: ClaudeBot

# Claude web
User-agent: Claude-Web

# Cohere
User-agent: Cohere-ai

# Perplexity
User-agent: PerplexityBot

# Common Crawl
# https://commoncrawl.org/ccbot
User-agent: CCBot

# Omglibot: webz.io
# https://webz.io/blog/web-data/what-is-the-omgili-bot-and-why-is-it-crawling-your-website/
User-agent: Omgilibot
User-agent: Omgili
User-agent: Webzio-Extended

# Facebook: Llama
# https://developers.facebook.com/docs/sharing/bot/
User-agent: FacebookBot

# ByteDance: Duobao
User-agent: Bytespider

# Censorship area
Disallow: /

Отказ от ответственности

Обратите внимание, что этот блок -лист предназначен только для информационных целей. Несмотря на то, что провокационное название проекта можно запретить, чтобы запретить ползать и защищать владение контентом.

2024-05 Обновление

Категория: пресса

  • Сканируется: 66
  • ✅ Прохождение: 38 %
  • ? Заблокирован: 62 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Время ?? ?
Би -би -си ?? ?
Хранитель ?? ?
Экономист ?? ?
Финансовые времена ?? ?
Независимый ?? ✅
Телеграф ?? ?
Daily Mail ?? ?
Солнце ?? ?
Ежедневное зеркало ?? ?
Daily Express ?? ?
Вашингтон пост ?? ?
USA сегодня ?? ✅
Fox News ?? ✅
ABC News ?? ?
NBC News ?? ?
CBS News ?? ?
Los Angeles Times ?? ?
Чикаго Трибьюн ?? ✅
New York Post ?? ?
New York Daily News ?? ✅
Житель Нью -Йорка ?? ?
Порок ?? ✅
Нью -Йорк Таймс ?? ?
Wall Street Journal ?? ?
CNN ?? ?
El País ?? ✅
Süddeutsche Zeitung ?? ?
Der Spiegel ?? ?
Corriere Della Sera ?? ?
La Repubblica ?? ?
Ле Монд ?? ?
Либерация ?? ?
Ле Фигаро ?? ?
20 минут ?? ?
Оуэст Франция ?? ?
Le Parisien ?? ?
L'Equipe ?? ?
Le Point ?? ?
Марианна ?? ?
LE NOUVER наблюдение ?? ?
L'Экспресс ?? ?
Франция 24 ?? ?
BFMTV ?? ?
Cnews ?? ✅
Le Monde Diplomatique ?? ✅
MediaPart ?? ?
Courrier International ?? ?
Брют ?? ✅
IMDB ? ✅
Аллоцин ?? ✅
Факт ?? ✅
Супер экспресс ?? ✅
Gazeta Wyborcza ?? ?
Rzeczpospolita ?? ✅
Dziennik Gazeta Prawna ?? ✅
Политика ?? ✅
Newsweek Polska ?? ✅
Гош Нидзильни ?? ✅
Sieci ?? ✅
До -рцзи ?? ✅
Twój Styl ?? ✅
Zwierciadło ?? ✅
Wysokie Obcasy Extra ?? ?
Пани ?? ✅
Elle ?? ✅

Категория: видео по требованию

  • Сканируется: 9
  • ✅ Прохождение: 56 %
  • ? Заблокирован: 44 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Главное видео ? ✅
Netflix ? ✅
Дисней+ ? ?
Хулу ?? ?
HBO MAX ?? ✅
Канал+ ?? ?
Франсев ?? ✅
TF1 ?? ?
6play ?? ✅

Категория: музыка

  • Сканируется: 6
  • ✅ Прохождение: 67 %
  • ? Заблокирован: 33 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
SoundCloud ? ?
YouTube ? ✅
Apple Music ? ✅
Spotify ? ?
Дизер ?? ✅
Последний ?? ✅

Категория: подкаст

  • Сканируется: 8
  • ✅ Прохождение: 75 %
  • ? Заблокирован: 25 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Google Podcasts ? ✅
Apple Podcast ? ✅
Spotify Podcaster ? ?
Buzzsprout ? ✅
Подпроход ? ✅
Асаст ?? ✅
Аудиомеи ?? ✅
Радио Франция ?? ?

Категория: x

  • Сканируется: 6
  • ✅ Прохождение: 67 %
  • ? Заблокирован: 33 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Порнохоб ? ?
Youporn ? ?
XNXX ? ✅
Xvideos ? ✅
Xhamster ? ✅
Только Фан ? ✅

Категория: религия

  • Сканируется: 5
  • ✅ Прохождение: 100 %
  • ? Заблокирован: 0 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Библия ?? ✅
Библейские шлюз ?? ✅
Свидетели Иеговы ?? ✅
Ватикан ?? ✅
Исламвеб ? ✅

Категория: социальные сети

  • Сканируется: 13
  • ✅ Прохождение: 31 %
  • ? Заблокирован: 62 %
  • ❓ Неизвестно: 8 %
Имя Страна Статус
Facebook ? ?
Instagram ? ?
Reddit ? ✅
Хакерские новости ? ❓
Омары ? ?
Pinterest ? ?
Тикток ? ✅
Twitter ? ?
LinkedIn ? ✅
Quora ? ?
Vk ?? ✅
TripAdvisor ? ?
Визг ? ?

Категория: художник

  • Сканируется: 42
  • ✅ Прохождение: 76 %
  • ? Заблокирован: 19 %
  • ❓ Неизвестно: 5 %
Имя Страна Статус
Майкл Джексон ?? ✅
Мадонна ?? ✅
Тейлор Свифт ?? ?
Рианна ?? ✅
Бруно Марс ?? ✅
Джастин Бибер ?? ?
Бейонсе ?? ✅
Кэти Перри ?? ?
Леди Гага ?? ?
Хардвелл ?? ✅
Dimitri Vegas и Like Mike ?? ✅
Канье Уэст ?? ❓
Спаржевая фасоль ?? ✅
Imagine Dragons ?? ✅
Двадцать один пилот ?? ✅
Maroon 5 ?? ?
Селена Гомес ?? ?
Ашер ?? ?
Stromae ?? ✅
Ая Накамура ?? ❓
Сопрано ?? ✅
Джонни Халлидей ?? ✅
Гранд -корпус Малада ?? ✅
Захо ?? ✅
Жан Луи Ауберт ?? ✅
Камелия Джордана ?? ✅
Индохин ?? ✅
Трио ?? ✅
Дэвид Гетта ?? ✅
MC Solaar ?? ✅
Zaz ?? ✅
Кристина и королевы ?? ✅
Бульвар де ?? ✅
Калогеро ?? ✅
Хоши ?? ✅
Avicii ?? ✅
Адель ?? ✅
Кэлвин Харрис ?? ✅
Эд Ширан ?? ✅
Арктические обезьяны ?? ✅
Coldplay ?? ✅
The Weeknd ?? ?

Категория: правительство

  • Сканируется: 3
  • ✅ Прохождение: 100 %
  • ? Заблокирован: 0 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Белый дом ?? ✅
Элисей ?? ✅
Европа ?? ✅

Категория: наука

  • Сканируется: 28
  • ✅ Прохождение: 82 %
  • ? Заблокирован: 18 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Google Scholar ? ✅
Sci-Hub ? ✅
Pubpeer ? ✅
Scopus ?? ?
Elsevier ?? ?
ScienceDirect ?? ?
MDPI ?? ✅
Спрингер ?? ✅
Уайли ?? ✅
Американское химическое общество ?? ✅
PubMed ?? ✅
Академия ?? ✅
Наука ?? ?
Arxiv ?? ✅
Американское физическое общество ?? ✅
Мендели ?? ✅
Природа ?? ?
Тейлор и Фрэнсис ?? ✅
Издательство Оксфордского университета ?? ✅
Издательство Кембриджского университета ?? ✅
Королевское химическое общество ?? ✅
Researchgate ?? ✅
Bnf ?? ✅
Пирамида из камней ?? ✅
Перси ?? ✅
Галлика ?? ✅
Отстранение ?? ✅
Открытие ?? ✅

Категория: Дев

  • Сканируется: 3
  • ✅ Прохождение: 67 %
  • ? Заблокирован: 33 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
GitHub ? ✅
Гитлаб ? ✅
Переполнение стека ? ?

Категория: Другой контент

  • Сканируется: 19
  • ✅ Прохождение: 74 %
  • ? Заблокирован: 26 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Википедия ? ✅
Середина ? ?
Подмазочный ? ✅
Общий ползание ? ✅
Интернет -архив ? ✅
Wayback Machine ? ✅
Понятие ? ✅
Погода ?? ?
Accuweather ?? ✅
Метео Франс ?? ✅
Getty Images ?? ✅
Shutterstock ?? ?
Adobe Stock ?? ?
Неспособный ?? ?
Pexels ?? ✅
Pixabay ?? ✅
Flickr ?? ✅
500px ?? ✅
Гифи ?? ✅

Категория: Другое

  • Сканируется: 1
  • ✅ Прохождение: 100 %
  • ? Заблокирован: 0 %
  • ❓ Неизвестно: 0 %
Имя Страна Статус
Действительно ?? ✅

Список WTF

Aka: Они понимают свою бизнес -модель? ?

Имя Статус
Getty Images ✅
Pexels ✅
500px ✅

Список стыда

АКА: Это общественный интерес. ?

Имя Статус
Середина ?
Quora ?
Elsevier ?
Scopus ?
Наука ?
ScienceDirect ?
Природа ?

? Внося

Ищу вклад:

  • Обогатить базу данных веб -сайтов
  • Китайские сайты
  • Новые категории

Пожалуйста, откройте проблемы!

  • Пинг меня в Твиттере @samuelberthe (DMS, упоминает, что угодно :))
  • Форк проект
  • Исправить открытые проблемы или запросить новые функции

Не стесняйтесь;)

Строить 

python -m venv venv
source ./venv/bin/activate
pip3 install -r requirements.txt
python3 scrape.py
# then copy the last version into readme

? Участники

? Покажите свою поддержку

Дайте ️, если этот проект помог вам!

Лицензия

Copyright © 2024 Сэмюэль Берт.

Этот проект лицензирован MIT.

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все