Baru -baru ini, Trilegangers, sebuah situs web Ukraina yang berfokus pada model 3D manusia, mengalami serangan lalu lintas yang belum pernah terjadi sebelumnya, menyebabkan servernya runtuh. Situs web ini berkomitmen untuk menyediakan artis 3D dan pengembang game dengan sejumlah besar data model 3D tubuh manusia, tetapi dalam kesulitan karena sering merangkak crawler gptbot Openai. Kejadian ini tidak hanya mengungkap potensi ancaman perayap web terhadap operasi situs web, tetapi juga memicu diskusi ekstensif tentang keseimbangan antara teknologi AI dan perlindungan hak cipta.
Menurut staf Trilegangers, meskipun situs web secara eksplisit melarang merangkak dan digunakan secara tidak sah dalam perjanjian penggunaan, server kelebihan beban karena pengaturan robot.txt yang salah untuk mencegah crawler mengakses. Menurut log server, crawler GPTBOT Openai memprakarsai puluhan ribu permintaan melalui lebih dari 600 alamat IP yang berbeda, yang mengakibatkan situs web tidak dapat berfungsi secara normal, mirip dengan menghadapi serangan penolakan terdistribusi (DDOS). Situasi ini tidak hanya mempengaruhi operasi normal situs web, tetapi juga menyebabkan ketidaknyamanan besar bagi pengguna.
OpenAi disebutkan dalam deskripsi crawler bahwa jika situs web tidak ingin gptbot merangkak konten, itu perlu diatur dalam file robots.txt. Namun, Trilegangers tidak menyadari hal ini, yang mengarah ke dilema saat ini. Meskipun file robots.txt tidak diharuskan oleh hukum, jika situs web telah menyatakan bahwa penggunaan yang tidak sah dilarang, perilaku merangkak GPTBOT masih dapat melanggar peraturan yang relevan. Kejadian ini mengingatkan operator situs web tentang pentingnya pengaturan teknis, dan juga memicu pemikiran tentang etika penerapan teknologi AI.
Selain itu, karena penggunaan server AWS Amazon, konsumsi Trilegangers dalam bandwidth dan lalu lintas juga meningkat secara dramatis, membawa tekanan biaya tambahan. Menanggapi keadaan darurat ini, Trilegangers telah mengambil langkah -langkah untuk mengatur file robot.txt yang benar dan memblokir akses ke beberapa crawler termasuk GPTBOT melalui CloudFlare. Pelajaran ini juga memberikan referensi berharga untuk situs web lain.
Kejadian ini telah membangkitkan perhatian orang pada perilaku perayap jaringan, terutama dalam konteks peningkatan pengembangan teknologi AI. Dengan kemajuan teknologi AI yang berkelanjutan, perilaku crawler jaringan akan menjadi lebih kompleks dan tersembunyi. Kejadian ini bukan hanya tantangan bagi Trilegangers, tetapi juga peringatan bagi seluruh industri Internet.