Reddit 最近調整了其robots.txt 文件,旨在限製或收費AI 公司對其平台內容的抓取行為。此舉引發了AI 公司與內容所有者之間關於資料使用權和商業模式的討論。 Reddit 的舉動並非個例,反映了越來越多網站對AI 大規模資料收集的擔憂,以及對智慧財產權的保護需求。本文將詳細解讀Reddit 的策略及其背後的原因。
Reddit 正在採取行動阻止AI 公司爬取其內容,或至少要求它們付費。
本週早些時候,Reddit 宣布正在更改其機器人排除協議,也稱為其robots.txt 檔案。這個看似枯燥的編輯是AI 公司渴望用於訓練其語言模型的內容所有者之間的一場更大的談判/ 戰鬥的一部分。

「Robots.txt」 是網站向第三方通訊網站如何被爬取的方式,經典的例子是允許Google 爬取它們以便包含在搜尋結果中的網站。
就人工智慧而言,價值交換就沒那麼明顯了。當您經營的網站的商業模式涉及吸引點擊和眼球時,讓AI 公司吸取您的內容並且不發送任何流量(在某些情況下,他們會直接剽竊您的工作)並不具有吸引力。
因此,透過更改其robots.txt 文件,並繼續對未知機器人和爬蟲進行評級限制和阻止,Reddit 似乎正在努力防止像Perplexity AI 這樣的公司被批評的做法。
劃重點:
- Reddit 正在採取行動阻止AI 公司爬取其內容,或至少要求它們付費。
- Robots.txt 是網站如何爬取第三方通訊網站的方式,經典的範例是允許Google 爬取它們以便包含在搜尋結果中的網站。
- Reddit 更改其robots.txt 文件,並繼續對未知機器人和爬蟲進行評級限制和阻止,以防止像Perplexity AI 這樣的公司被批評的做法。
Reddit 的這項舉動預示著未來內容平台與AI 公司之間將展開更多關於資料使用權的博弈,也為如何平衡AI 技術發展與智慧財產權保護提出了新的挑戰。 這將促使AI 公司探索更永續的資料取得方式,並推動內容平台與AI 公司建立更公平合理的合作模式。