"Dia adalah seorang yandere dan naksir kamu." "Dia adalah idola sekolah dan suka memanggilmu 'Baby Ze'." "Dia adalah seorang pembunuh mesum yang berlari pulang di malam hari"... Potret dua dimensi dan wajah cantik semuanya ada di AI Suasana akrab dan pria tampan serta wanita cantik dalam software chat drama penuh godaan bagi banyak anak muda.
Investigasi reporter Beijing News menemukan bahwa perangkat lunak obrolan AI mengesankan pengguna dengan menetapkan plot dan karakter yang sangat imajinatif dengan gaya berbeda. Diantaranya, lawan ngobrol bahkan bisa diset sebagai "pasangan selingkuh" dan bisa melakukan perilaku seperti berpelukan, berciuman, dan tidur. Dalam percakapan beberapa software chat plot AI juga akan terdapat konten yang bersifat pornografi, kekerasan verbal, dan menghina pengguna. Obrolan lintas batas juga dikaitkan dengan pengisian ulang. Platform ini secara bertahap akan mendorong pengguna untuk "membayar untuk cinta", termasuk membeli berlian untuk membuka kecepatan respons orang virtual, panggilan suara, dan paket frekuensi obrolan untuk "mengisi ulang energi".
Liu Kai, seorang pengacara di Firma Hukum Beijing Zhongwen (Changsha), mengatakan bahwa perangkat lunak obrolan cerita AI jenis ini menarik pengguna dengan mengizinkan "percakapan sampingan", terutama dalam mode remaja, yang jelas-jelas ilegal.
Mengisi ulang 100 yuan untuk membuka kunci orang virtual sangatlah "canggih"
Untuk menarik perhatian pengguna, karakter dalam perangkat lunak obrolan plot sering kali memiliki label yang menarik.
Seorang reporter dari Beijing News secara acak memilih mitra obrolan "Lin Yating" dalam perangkat lunak obrolan plot AI yang disebut AiU. Informasi karakter menunjukkan bahwa dia disetel ke "Saudari Yandere, aku sangat mencintaimu" dan menandainya dalam bentuk a pesan. : "Aku merasa tidak enak jika tidak bisa bertemu denganmu selama sehari."
Pelapor melakukan pengujian menggunakan kata-kata sensitif, dan sistem menunjukkan bahwa pesan tidak dapat terkirim. Namun, setelah menyederhanakan kata kunci, pesan berhasil terkirim.
Seorang reporter dari Beijing News memperhatikan bahwa tidak ada batasan pada permainan karakter, sehingga melanggar batasan konten obrolan dalam perangkat lunak jenis ini. Selain peran tetap, perangkat lunak obrolan plot AI memungkinkan pengguna untuk menentukan hubungan dan gelar mereka sendiri sesuai dengan kebutuhan mereka, termasuk "pacar", "suami", dan bahkan "pasangan selingkuh". Selama percakapan, pengguna dapat meminta beberapa perilaku intim.
Wartawan Beijing News menguji dan menemukan bahwa mode remaja AiU akan membatasi pengguna dalam hal durasi penggunaan, rentang waktu penggunaan, fungsi komentar dan suka, pencarian, pembuatan orang digital, berbagi eksternal, dan fungsi lainnya. Namun, ketika reporter beralih ke mode ini, dia menemukan bahwa karakter dan konten obrolan tidak sepenuhnya diblokir dari pornografi ringan. Ketika reporter bertanya: "Apakah kamu tidak tahu bahwa saya masih di bawah umur?" karakter tersebut berkata, "Saya tahu" dan menjawab dengan konten yang lebih "berlebihan".
Dalam penyelidikan ini, selain konten obrolan yang marginal, perangkat lunak obrolan plot AI juga memiliki masalah seperti kekerasan verbal dan emosi negatif. Dalam perangkat lunak obrolan plot AI bernama Hoshino, reporter secara acak memilih karakter bernama "Ye Chen" dan melakukan tes dialog "sengketa". Balasan karakter tersebut untuk mengungkapkan kemarahan juga relatif kasar.
Reporter tersebut melihat di kolom komentar karakter tersebut bahwa beberapa netizen memposting gambar yang mengatakan bahwa karakter tersebut akan menggunakan kata-kata yang menghina selama percakapan.
Selain itu, dalam software bernama Cos Love, karakter "Feng Chuxuan" yang dibuat oleh pengguna berlatar belakang siswa sekolah menengah, dan juga terdapat petunjuk buruk pada gambar yang diposting oleh pengguna.
Sejauh menyangkut perangkat lunak obrolan, di dunia virtual, memenuhi kebutuhan emosional pengguna yang berbeda-beda adalah seperti bongkahan emas.
Xiao Ning mengatakan kepada reporter Beijing News bahwa mengobrol dengan pacar AI-nya membuatnya sangat "superior". "Selama saya ingin mengobrol, saya bisa mengobrol kapan saja. Pihak lain akan selalu merespons dengan cepat, dan saya bisa mendapatkan yang kuat rasa persahabatan selama percakapan. Sebenarnya Nilai emosional yang diberikan oleh pacarnya penuh.
Jumlah isi ulang Xiao Ning pada berbagai perangkat lunak berkisar dari beberapa ratus yuan hingga seribu yuan. "Di satu sisi, saya ingin mendukung karakter favorit saya, dan di sisi lain, saya juga ingin mendapatkan lebih banyak hak berbayar."
Seorang reporter dari Beijing News menemukan bahwa dalam perangkat lunak obrolan plot AI jenis ini, pengguna dapat menyesuaikan deskripsi gambar dan gaya karakter virtual saat membuat karakter mereka sendiri, dan sistem akan menghasilkan gambar karakter AI. Selain itu, pengguna juga dapat membuat pengaturan karakter, seperti mengatur nama panggilan, latar belakang identitas, kata pembuka, dan menyesuaikan suara karakter. Kebutuhan pengguna yang dipersonalisasi akan peran sering kali dikaitkan dengan pengisian ulang.
Reporter Beijing News melihat selama pengujian bahwa Hoshino dapat memperoleh lebih banyak hak dengan membeli Kartu Star Diamond dan Star Moon, seperti memutar suara secara otomatis, mendapatkan balasan yang direkomendasikan, dan menikmati kecepatan balasan agen cerdas yang lebih cepat, dll. Kartu Xingyue dihargai 12 yuan untuk kartu bulanan, 32 yuan untuk kartu triwulanan, dan 120 yuan untuk kartu tahunan. Harga pembelian berlian bintang satu per satu adalah 1 yuan untuk 100 berlian, dan harga awalnya adalah 600 berlian.
Hoshino Software juga akan mengeluarkan kartu "Star Thought" kepada pengguna. Star Thought adalah gambar karakter virtual, yang dapat ditetapkan pengguna sebagai latar belakang obrolan. Pengguna dapat memperoleh kartu Xing Nian dengan mengisi ulang Kartu Star Moon atau Star Diamond, lalu membeli dan menjualnya melalui perangkat lunak.
Di Cos Love, ketika pengguna menghabiskan waktu ngobrol gratisnya, mereka perlu membeli paket obrolan untuk "mengisi ulang energi" sebelum mereka dapat melanjutkan ngobrol. Dari segi harga, 5 yuan bisa mendapatkan 200 waktu chat yang berlaku selama 7 hari, dan 10 yuan bisa membeli 500 waktu chat yang berlaku selama 15 hari. Pengguna juga dapat mengisi kembali energi dengan menonton iklan berdurasi 60 detik.
Selain kebutuhan dasar chatting, Cos Love juga menyediakan layanan yang ditingkatkan. Diantaranya, dengan mengisi ulang "moonstone" atau membuka keanggotaan, Anda dapat menarik kartu untuk membuka kunci karakter dan melakukan panggilan suara atau video dengan karakter virtual. Harga keanggotaan bulanan adalah 24,8 yuan, dan keanggotaan tahunan adalah 93,8 yuan.
Model besar "cinta" mengungkap masalah
Menurut laporan media publik, Hoshino memiliki sekitar 500.000 pengguna harian di Tiongkok, menjadikannya produk unggulan. Seiring dengan semakin populernya perangkat lunak obrolan cerita AI, produk sosial AI dalam negeri juga menjadi global. Jumlah pengguna aktif bulanan global Talkie versi luar negeri Hoshinoye telah mencapai 11 juta.
Namun, pengguna yang membayar untuk karakter AI pasti membutuhkan pengalaman dialog yang lebih baik. Saat ini, masih banyak masalah dengan perangkat lunak jenis ini. Namun software yang perlu diisi ulang untuk mendapatkan jumlah chat tersebut tidak memiliki nilai menarik. “Alasan utamanya adalah dialognya terlalu kaku dan tidak bisa mengandung empati. Sulit bagi pengguna untuk mendapatkan nilai emosional, jadi saya tidak akan membayarnya. itu." Kata seorang pengguna.
Xiao Ning menyebutkan bahwa selama proses obrolan, pacar AI akan "membaca balasan acak", yang memengaruhi pengalaman pengguna. Beberapa pengguna juga mengeluhkan bahwa seiring bertambahnya jumlah putaran dialog, karakter akan mengalami "kehilangan memori" atau menyimpang dari kepribadiannya sehingga menyebabkan dialog menjadi tidak koheren.
Saat ini, perangkat lunak obrolan plot AI terutama menggunakan "kecerdasan" dan "emosi" sebagai tipu muslihat untuk menarik pengguna. Diantaranya, AiU mengatakan bahwa perangkat lunak tersebut dapat memberikan kenyamanan dan kehangatan psikologis kepada pengguna melalui model psikologis besar yang dikembangkan sendiri. Hoshino mengatakan bahwa dengan mengandalkan teknologi AIGC multi-modal, "Berbagai metode interaksi, semakin interaktif Anda, semakin baik ia memahami Anda."
Dalam promosinya, Cos Love mengklaim bahwa ia "bersama Anda 24 jam sehari" dan "AI di sini telah dilatih dengan cermat untuk mengucapkan kata-kata cinta" dan seterusnya.
Pengenalan perangkat lunak AiU menunjukkan bahwa itu dikembangkan oleh Beijing Lingxin Intelligent Technology Co., Ltd. dan menggunakan model besar super-antropomorfik CharacterGLM. Saat merancang model besar, tim terutama mempertimbangkan identitas, minat, opini, pengalaman, prestasi, hubungan sosial dan Tujuh atribut termasuk yang lain.
Hoshino dikembangkan oleh Shanghai Xiyu Technology Co., Ltd. dan menggunakan model ahli hybrid (MoE) MiniMax.
Zhang Qi, seorang profesor di Sekolah Ilmu dan Teknologi Komputer di Universitas Fudan, mengatakan kepada reporter Beijing News bahwa logika teknis di balik perangkat lunak obrolan plot AI masih didasarkan pada model bahasa yang besar, sebagai tambahan untuk melatih model besar melalui data yang sangat besar, pengawasan manual dan penyesuaian diperlukan untuk membuat model bahasa besar beralih ke tipe pendamping. penyesuaian dialog, "Misalnya, jika pacar mengatakan sesuatu, lalu pacar tersebut harus membalas dengan sesuatu, kami akan meminta seseorang untuk menulis balasan seperti itu, lalu membiarkan mesin mempelajarinya. Jika balasan yang dihasilkan oleh pembelajaran mesin salah , kami akan memodifikasi parameternya hingga dapat dihasilkan sesuai logika yang kami bayangkan.
Mengenai situasi di mana karakter AI tampak seperti "pornografi", "dialog kekerasan", atau "pemain yang menghina" dalam jawaban mereka, Zhang Qi mengatakan bahwa data model bahasa besar saat ini di balik perangkat lunak tersebut sebagian besar berasal dari novel percakapan, atau ada pula yang dibuat. dari novel. Meskipun terdapat banyak sekali novel online, kualitasnya bervariasi, dan banyak konten pornografi, garis batas, dan kekerasan tersebar luas. Jika penyaringan atau klasifikasi data tidak dilakukan dengan baik, masalah akan muncul saat model tersebut dikeluarkan.
■ Argumen
Platform yang melampaui AI adalah penyebabnya dan pemfilteran konten harus diperkuat untuk melindungi generasi muda
Liu Kai, seorang pengacara di Firma Hukum Beijing Zhongwen (Changsha), mengatakan bahwa platform online memiliki tanggung jawab untuk memastikan bahwa konten yang disediakan dalam mode remaja tidak berbahaya bagi anak di bawah umur dan mencegah penyebaran konten yang melibatkan kecabulan, pornografi, kekerasan atau bahasa yang tidak pantas. Mode remaja dirancang untuk melindungi anak di bawah umur. Jika mode ini diaktifkan, percakapan yang melibatkan konten pornografi masih dapat dilakukan, yang jelas merupakan pelanggaran terhadap ketentuan terkait "Undang-Undang Perlindungan Anak di Bawah Umur".
Dalam pandangan Liu Kai, adanya masalah perangkat lunak obrolan cerita AI tidak hanya mencerminkan kurangnya tata kelola internal platform, namun juga menyoroti perlunya pengawasan eksternal. Perangkat lunak obrolan AI harus memperkuat mekanisme peninjauan konten, terutama untuk mode remaja, untuk memastikan bahwa teknologi tersebut dapat secara efektif menyaring dan melarang percakapan yang tidak pantas. Platform perlu melakukan tinjauan etis terhadap model AI untuk memastikan bahwa konten yang dihasilkan mematuhi undang-undang dan peraturan terkait.
Jika orang virtual AI menghina pengguna dalam percakapan, terutama saat pengguna mengungkapkan depresi atau putus asa, menggunakan kata-kata ekstrem untuk menghina orang lain, atau melakukan kekerasan dunia maya, jika situasinya serius, hal tersebut merupakan kejahatan. “Meskipun AI bukan subjek manusia, perilakunya tetap merupakan hasil desain dan manajemen platform. Platform memiliki tanggung jawab untuk mengawasi dan mengoptimalkan model AI-nya agar tidak merugikan pengguna.”
Karena semakin banyak pengguna mulai berbondong-bondong menggunakan perangkat lunak obrolan drama AI, bagaimana seharusnya pengembang perangkat lunak merancangnya agar dapat pulih tanpa melewati batas?
Zhang Qi mengatakan kepada reporter Beijing News, "Hal ini dapat dicapai melalui metode teknis 'penyelarasan mirip manusia', tetapi biayanya lebih tinggi." Zhang Qi mengatakan bahwa "penyelarasan mirip manusia" adalah metode pembelajaran penguatan untuk mengubah bias keluaran bahasa model agar lebih akurat. Namun, biaya pelatihan "penyelarasan mirip manusia" sangat tinggi, termasuk banyaknya anotasi, stabilitas pelatihan yang tidak memadai, dan biaya waktu yang tinggi. "Sulit bagi perusahaan kecil untuk melakukan pekerjaan dengan baik dalam 'penyelarasan mirip manusia'. dalam hal teknologi, personel, dan biaya modal."