Reddit baru-baru ini menyesuaikan file robots.txt dalam upaya membatasi atau membebankan biaya kepada perusahaan AI karena menghapus konten di platformnya. Langkah ini memicu diskusi antara perusahaan AI dan pemilik konten mengenai hak penggunaan data dan model bisnis. Langkah Reddit bukanlah kasus yang terisolasi dan mencerminkan kekhawatiran semakin banyak situs web mengenai pengumpulan data skala besar oleh AI dan kebutuhan untuk melindungi hak kekayaan intelektual. Artikel ini akan menjelaskan secara detail strategi Reddit dan alasan di baliknya.
Reddit mengambil tindakan untuk menghentikan perusahaan AI merayapi kontennya, atau setidaknya mengharuskan mereka membayar.
Awal pekan ini, Reddit mengumumkan perubahan protokol pengecualian robotnya, yang juga dikenal sebagai file robots.txt. Pengeditan yang tampaknya membosankan ini adalah bagian dari negosiasi/pertarungan yang lebih besar antara pemilik konten yang ingin digunakan oleh perusahaan AI untuk melatih model bahasa mereka.
"Robots.txt" adalah cara situs web menyampaikan kepada pihak ketiga bagaimana situs tersebut telah dirayapi, contoh klasiknya adalah situs yang memungkinkan Google merayapi situs tersebut untuk disertakan dalam hasil penelusuran.
Dalam kasus kecerdasan buatan, pertukaran nilai kurang terlihat jelas. Ketika model bisnis menjalankan situs web melibatkan menarik klik dan perhatian, meminta perusahaan AI menyedot konten Anda dan tidak mengirimkan lalu lintas (dan dalam beberapa kasus, mereka akan langsung menjiplak karya Anda) tidaklah menarik.
Jadi dengan mengubah file robots.txt dan terus membatasi dan memblokir bot dan crawler yang tidak dikenal dengan peringkat, Reddit tampaknya berupaya mencegah perusahaan seperti Perplexity AI dikritik karena praktik mereka.
Highlight:
- Reddit mengambil tindakan untuk menghentikan perusahaan AI merayapi kontennya, atau setidaknya mengharuskan mereka membayar.
- Robots.txt adalah cara situs web menyampaikan kepada pihak ketiga bagaimana situs tersebut dirayapi, contoh klasiknya adalah situs yang memungkinkan Google merayapi situs tersebut untuk disertakan dalam hasil penelusuran.
- Reddit mengubah file robots.txt dan melanjutkan pembatasan peringkat serta pemblokiran bot dan crawler yang tidak dikenal untuk mencegah perusahaan seperti Perplexity AI dikritik karena praktik tersebut.
Langkah Reddit ini menunjukkan bahwa akan ada lebih banyak permainan mengenai hak penggunaan data antara platform konten dan perusahaan AI di masa depan, dan juga menimbulkan tantangan baru tentang bagaimana menyeimbangkan pengembangan teknologi AI dan perlindungan hak kekayaan intelektual. Hal ini akan mendorong perusahaan AI untuk mencari cara yang lebih berkelanjutan dalam memperoleh data, dan mendorong platform konten dan perusahaan AI untuk membangun model kerja sama yang lebih adil dan masuk akal.