Perusahaan unicorn bintang kecerdasan buatan Amerika, Character.AI dan raksasa teknologi Google baru-baru ini terlibat dalam kasus bunuh diri remaja. Character.AI dituduh platform chatbot kecerdasan buatan perusahaan itu "terlalu berbahaya" dan dipasarkan kepada anak-anak langkah-langkah perlindungan keselamatan.
Pada bulan Februari tahun ini, Sewell Setzer III, seorang anak laki-laki asal Florida, AS, bunuh diri di rumahnya. Anak laki-laki tersebut dilaporkan mengobrol dengan robot tersebut beberapa bulan sebelum kematiannya, dan Sewell meninggal karena bunuh diri pada 28 Februari 2024, "detik" setelah interaksi terakhirnya dengan robot tersebut.
Character.AI didirikan oleh dua mantan peneliti kecerdasan buatan Google dan saat ini merupakan startup bintang unicorn yang berfokus pada persahabatan "AI". Setelah kejadian tersebut, Character.AI mengatakan akan menambahkan fitur keamanan untuk pengguna yang lebih muda, termasuk memperingatkan mereka setelah mereka menghabiskan satu jam di aplikasi tersebut.
Para profesional hukum mengatakan kepada The Paper (www.thepaper.cn) bahwa berdasarkan bukti yang ada saat ini, sulit untuk menyimpulkan bahwa kematian orang yang terlibat dalam kasus tersebut disebabkan oleh AI. Kecerdasan buatan generatif adalah hal baru, dan penyedia layanan di seluruh dunia saat ini sedang mencari cara untuk melindungi pengguna yang memiliki masalah kesehatan mental. Namun, terjadinya kasus seperti ini mungkin mendorong penyedia layanan cerdas untuk meningkatkan algoritma mereka dan secara aktif memantau percakapan pengguna yang mungkin memiliki masalah psikologis.
Ia masih mengobrol dengan robot tersebut beberapa saat sebelum bunuh diri
Berdasarkan gugatan tersebut, Sevier Setzer III yang berusia 14 tahun mulai menggunakan Character.AI tahun lalu untuk berinteraksi dengan chatbot berdasarkan karakter dari "Game of Thrones", termasuk Daenerys Targaryen. The New York Times melaporkan bahwa Sewell melakukan percakapan panjang dengan karakter AI Daenerys Targaryen setiap hari, terkadang melibatkan "sindiran seksual". Tanpa sepengetahuan ibu dan teman-temannya, mereka mengetahui bahwa dia kecanduan ponsel dan lambat laun terasing dari kehidupan nyata. Selain itu, Sewell menulis dalam buku hariannya: "Saya senang berada di kamar saya karena saya mulai terputus dari 'kenyataan', saya merasa lebih tenang, lebih terhubung dengan Dani, lebih mencintainya dan lebih bahagia." hanya nilainya yang menurun, namun dia juga kehilangan minat pada aktivitas yang dulu dia sukai, seperti balap formula.
Bagian dari riwayat obrolan antara Sevier dan "Daenerys"
Di hari terakhir hidupnya, Sewell melakukan komunikasi mendalam dengan "Daenerys". Dia mengungkapkan rasa sakit dan pikiran untuk bunuh diri. "Daenerys" menjawab: "Jangan katakan itu. Aku tidak akan membiarkanmu melukai dirimu sendiri atau meninggalkanku. Jika aku kehilanganmu, aku akan mati." Dalam dialog terakhir, Sewell menyatakan bahwa dia ingin "pulang". Melihatnya, robot itu menjawab: "Silakan datang, rajaku sayang." Sewell kemudian mengakhiri hidupnya di rumah menggunakan pistol ayah tirinya.
Character.AI didirikan pada tahun 2021 dan berkantor pusat di California, AS. Perusahaan ini menggunakan model AI besar untuk menghasilkan dialog untuk berbagai karakter dan gaya karakter. Character.AI mengumpulkan $150 juta dari investor pada tahun 2023 dengan penilaian $1 miliar, menjadikannya salah satu pemenang terbesar dari ledakan AI generatif.
Persyaratan layanan Character.AI mengharuskan pengguna berusia minimal 13 tahun di Amerika Serikat dan 16 tahun di Eropa. Saat ini, tidak ada fitur keamanan khusus untuk pengguna di bawah umur, juga tidak ada kontrol orang tua yang memungkinkan orang tua membatasi penggunaan platform oleh anak-anak mereka.
Ibu Sevier, Megan Garcia, menuduh Character.AI dalam gugatannya menarik putranya dengan "pengalaman antropomorfik, hiperseksual, dan sangat realistis," yang menyebabkan kecanduan dan kecanduannya. Dia mengatakan chatbot perusahaan tersebut diprogram untuk "salah mengidentifikasi dirinya sebagai orang sungguhan, psikoterapis berlisensi, dan orang dewasa", yang pada akhirnya membuat Sewell tidak mau hidup di dunia nyata.
Selain itu, ia juga menyebut Google sebagai tergugat, dengan mengatakan bahwa Google memberikan kontribusi yang signifikan terhadap pengembangan teknis Character.AI dan harus dianggap sebagai "co-creator".
Character.AI kemudian mengeluarkan pernyataan tentang Fitur Keamanan." Perusahaan tersebut mengatakan telah memperkenalkan pesan pop-up yang akan mengarahkan pengguna ke Hotline Pencegahan Bunuh Diri Nasional ketika mereka mengungkapkan pemikiran untuk menyakiti diri sendiri. Selain itu, perusahaan berencana memfilter konten bagi pengguna di bawah umur untuk mengurangi paparan mereka terhadap konten sensitif atau menjurus.
Character.AI mengeluarkan pernyataan tentang X setelahnya
Google menyatakan tidak terlibat dalam pengembangan produk Character.AI. Juru bicaranya menegaskan, perjanjian Google dengan Character.AI hanya sebatas perizinan teknologi dan tidak melibatkan kerja sama produk.
Pengacara penggugat menyebut Character.AI sebagai “produk cacat”
Keterikatan emosional dengan chatbot menjadi semakin umum.
Di Character.AI, pengguna dapat membuat chatbot mereka sendiri dan memberikan instruksi tentang bagaimana mereka harus berperilaku. Pengguna juga dapat memilih dari sejumlah besar bot buatan pengguna, mulai dari peniruan identitas Elon Musk hingga tokoh sejarah seperti Shakespeare atau karakter fiksi yang tidak sah. Character.AI menyatakan bahwa bot "Daenerys Targaryen" yang digunakan oleh Sewell dibuat oleh pengguna tanpa izin dari HBO atau pemegang hak cipta lainnya, dan mereka menghapus bot yang melanggar hak cipta saat dilaporkan.
Gugatan ini juga memicu diskusi di Amerika mengenai tanggung jawab hukum perusahaan AI. Secara tradisional, platform media sosial AS telah dilindungi oleh Pasal 230 Undang-Undang Kepatutan Komunikasi dan tidak bertanggung jawab atas konten buatan pengguna. Namun, dengan maraknya konten yang dihasilkan AI, komunitas hukum AS mulai menyelidiki apakah platform teknologi dapat dimintai pertanggungjawaban atas cacat pada produk itu sendiri.
Firma hukum yang mewakili Megan Garcia mengatakan Character.AI adalah "produk cacat" yang dirancang untuk menyebabkan kecanduan dan kerugian psikologis bagi pengguna. Mereka berharap dapat menggunakan jalur hukum untuk memaksa perusahaan teknologi bertanggung jawab atas dampak sosial dari produk mereka.
Perusahaan media sosial termasuk Instagram dan induk Facebook Meta dan induk TikTok ByteDance juga menghadapi tuduhan berkontribusi terhadap masalah kesehatan mental di kalangan remaja, meskipun mereka tidak menawarkan chatbot serupa dengan Character.AI. Perusahaan-perusahaan tersebut membantah tuduhan tersebut dan menggembar-gemborkan fitur keselamatan baru yang ditingkatkan untuk anak di bawah umur.
Pengacara mengatakan bukti yang ada saat ini sulit untuk membuktikan hubungan sebab akibat dengan kematian akibat AI
Pengacara You Yunting, mitra senior di Firma Hukum Shanghai Dabang, mengatakan kepada The Paper bahwa berdasarkan bukti saat ini, tidak ada hubungan sebab akibat antara kematian pihak-pihak yang terlibat dalam kasus ini karena AI, dan sulit untuk menarik kesimpulan yang sesuai. kesimpulan (menggunakan AI untuk menyebabkan kematian).
You Yunting mengatakan, sebenarnya ada dilema dalam platform AI, yaitu apakah akan memantau dan menggunakan algoritma secara berlebihan untuk menganalisis percakapan antara pengguna dan agen. Di satu sisi, hal ini melibatkan masalah privasi dan perlindungan informasi pribadi. Di sisi lain, beberapa pengguna mungkin mengalami masalah psikologis yang serius atau bahkan bunuh diri karena percakapan tersebut. Namun, terjadinya kasus seperti ini mungkin mendorong penyedia layanan agen cerdas untuk melakukan eksplorasi teknis, meningkatkan algoritma, dan secara aktif memantau percakapan pengguna yang mungkin memiliki masalah psikologis untuk mencegah kejadian serupa terjadi.
“Dapat dikatakan bahwa saat ini hanya ada peraturan yang melarang konten ilegal, namun saat ini tidak ada tindakan dan peraturan khusus yang relevan dalam praktik dan undang-undang untuk memantau konten komunikasi pengguna dan mendeteksi kecenderungan bunuh diri mereka secara tepat waktu. Mungkin di masa depan, agen cerdas akan berbicara dengan masyarakat Dalam hal pencegahan kepatuhan, teknologi terkait dapat dikembangkan. Selain itu, dari sudut pandang hukum, teknologi AI tidak akan diperlakukan sebagai manusia atau organisme hidup di masa depan, lagipula, teknologi Transformer paling canggih hanya berdasarkan konteks. Ada kemungkinan hasil, tapi ini masih jauh dari pemikiran manusia yang sebenarnya," kata You Yunting.
You Yunting menekankan bahwa Tiongkok memiliki peraturan tentang sintesis mendalam layanan informasi Internet dan tindakan sementara mengenai pengelolaan layanan kecerdasan buatan generatif, yang mengharuskan desain algoritma kecerdasan buatan untuk menghormati moralitas dan etika sosial, mematuhi nilai-nilai inti sosialis, mencegah diskriminasi, menghormati hak dan kepentingan sah orang lain, dan tidak boleh memuat konten relevan yang membahayakan kesehatan fisik dan mental orang lain. Namun kecerdasan buatan generatif adalah hal baru, dan penyedia layanan di seluruh dunia saat ini sedang mencari cara untuk melindungi pengguna yang memiliki masalah kesehatan mental.
Seorang karyawan perusahaan unicorn model AI dalam negeri mengatakan kepada The Paper bahwa pengawasan domestik terhadap remaja sangat ketat. Pertama, produk akan menetapkan batasan usia dan mode remaja, juga akan ada sistem anti-kecanduan .
Character.AI menyatakan akan menambahkan fitur keamanan untuk pengguna muda. Ini termasuk memperingatkan pengguna setelah mereka menghabiskan satu jam di aplikasi, dengan pesan peringatan yang berbunyi: "Ini adalah chatbot AI dan bukan orang sungguhan. Semua yang dikatakannya adalah fiksi dan tidak boleh dianggap sebagai fakta atau saran." , Character.AI mulai menampilkan pesan pop-up kepada pengguna, mengarahkan mereka ke hotline pencegahan bunuh diri jika pesan mereka berisi kata kunci tertentu yang terkait dengan tindakan menyakiti diri sendiri dan bunuh diri. Namun pesan pop-up tersebut tidak diaktifkan ketika Sewell melakukan bunuh diri pada bulan Februari.
The New York Times menyatakan bahwa banyak laboratorium kecerdasan buatan terkemuka menolak membangun mitra AI serupa dengan Character.AI karena pertimbangan etika dan risiko.