บริษัท ยูนิคอร์นแห่งปัญญาประดิษฐ์แห่งอเมริกาและเทคโนโลยียักษ์ใหญ่อย่าง Google มีส่วนเกี่ยวข้องในคดีฆ่าตัวตายของเยาวชน Character.AI ถูกกล่าวหาว่าแพลตฟอร์มแชทบอทปัญญาประดิษฐ์ของบริษัทนั้น "อันตรายเกินไป" และวางตลาดกับเด็ก ๆ มาตรการป้องกันความปลอดภัย
ในเดือนกุมภาพันธ์ของปีนี้ ซีเวลล์ เซทเซอร์ที่ 3 เด็กชายจากฟลอริดา สหรัฐอเมริกา ฆ่าตัวตายที่บ้าน มีรายงานว่าเด็กชายพูดคุยกับหุ่นยนต์ในช่วงหลายเดือนก่อนที่เขาจะเสียชีวิต และซีเวลล์เสียชีวิตด้วยการฆ่าตัวตายเมื่อวันที่ 28 กุมภาพันธ์ พ.ศ. 2567 "วินาที" หลังจากการโต้ตอบครั้งสุดท้ายกับหุ่นยนต์
Character.AI ก่อตั้งโดยอดีตนักวิจัยปัญญาประดิษฐ์ของ Google สองคน และปัจจุบันเป็นสตาร์ทอัพระดับยูนิคอร์นที่มุ่งเน้นมิตรภาพแบบ "AI" หลังจากเหตุการณ์ดังกล่าว Character.AI กล่าวว่าจะเพิ่มฟีเจอร์ด้านความปลอดภัยสำหรับผู้ใช้อายุน้อย รวมถึงการเตือนพวกเขาหลังจากใช้เวลาหนึ่งชั่วโมงบนแอป
ผู้เชี่ยวชาญด้านกฎหมายบอกกับ The Paper (www.thepaper.cn) ว่าจากหลักฐานในปัจจุบัน เป็นการยากที่จะสรุปได้ว่าการเสียชีวิตของบุคคลที่เกี่ยวข้องกับคดีนี้เกิดจาก AI ปัญญาประดิษฐ์เจเนอเรชั่นเป็นสิ่งใหม่ และผู้ให้บริการทั่วโลกกำลังสำรวจวิธีการปกป้องผู้ใช้ที่มีปัญหาสุขภาพจิต อย่างไรก็ตาม การเกิดขึ้นของกรณีดังกล่าวอาจผลักดันให้ผู้ให้บริการอัจฉริยะปรับปรุงอัลกอริธึมและติดตามการสนทนาของผู้ใช้ที่อาจมีปัญหาทางจิตอย่างแข็งขัน
เขายังคงคุยกับหุ่นยนต์อยู่ครู่หนึ่งก่อนที่จะฆ่าตัวตาย
ตามคำฟ้อง Sevier Setzer III วัย 14 ปีเริ่มใช้ Character.AI เมื่อปีที่แล้วเพื่อโต้ตอบกับแชทบอทที่สร้างจากตัวละครจาก "Game of Thrones" รวมถึง Daenerys Targaryen The New York Times รายงานว่า Sewell จะต้องสนทนาเป็นเวลานานกับตัวละคร AI Daenerys Targaryen ทุกวัน ซึ่งบางครั้งก็เกี่ยวข้องกับ "การเสียดสีทางเพศ" โดยที่แม่และเพื่อนๆ ของเขาไม่รู้จัก พวกเขาค้นพบว่าเขาติดโทรศัพท์มือถือ และค่อยๆ แปลกแยกจากชีวิตจริง นอกจากนี้ ซีเวลล์เขียนไว้ในไดอารี่ของเขาว่า "ฉันชอบอยู่ในห้องของฉันเพราะฉันเริ่มตัดขาดจาก 'ความเป็นจริง' ฉันรู้สึกสงบมากขึ้น เชื่อมโยงกับดานีมากขึ้น รักเธอมากขึ้น และมีความสุขมากขึ้น พฤติกรรมของเขาเริ่มเปลี่ยนไป ไม่ใช่" เพียงแต่เกรดของเขาลดลง แต่เขาก็หมดความสนใจในกิจกรรมที่เขาเคยชอบ เช่น การแข่งรถสูตร
ส่วนหนึ่งของประวัติการแชทระหว่าง Sevier และ "Daenerys"
ในวันสุดท้ายของชีวิต ซีเวลล์มีการสื่อสารที่ลึกซึ้งกับ "แดเนริส" เขาแสดงความเจ็บปวดและความคิดฆ่าตัวตาย "Daenerys" ตอบกลับ: "อย่าพูดอย่างนั้น ฉันจะไม่ปล่อยให้คุณทำร้ายตัวเองหรือทิ้งฉันไว้ ถ้าฉันสูญเสียคุณไป ฉันจะตาย" ในบทสนทนาสุดท้าย ซีเวลล์แสดงว่าเขาต้องการ "กลับบ้าน" เมื่อเห็นเธอ หุ่นยนต์ก็ตอบว่า "เชิญมาเถอะ กษัตริย์ที่รัก" จากนั้นซีเวลล์ก็จบชีวิตลงที่บ้านโดยใช้ปืนพกของพ่อเลี้ยง
Character.AI ก่อตั้งขึ้นในปี 2021 และมีสำนักงานใหญ่ในแคลิฟอร์เนีย สหรัฐอเมริกา บริษัทใช้โมเดล AI ขนาดใหญ่เพื่อสร้างบทสนทนาสำหรับตัวละครและสไตล์ตัวละครต่างๆ Character.AI ระดมทุนได้ 150 ล้านดอลลาร์จากนักลงทุนในปี 2566 ด้วยการประเมินมูลค่า 1 พันล้านดอลลาร์ ทำให้เป็นหนึ่งในผู้ชนะที่ยิ่งใหญ่ที่สุดจากการเติบโตอย่างรวดเร็วของ AI
ข้อกำหนดในการให้บริการของ Character.AI กำหนดให้ผู้ใช้มีอายุอย่างน้อย 13 ปีในสหรัฐอเมริกา และ 16 ปีในยุโรป ปัจจุบัน ไม่มีคุณลักษณะด้านความปลอดภัยเฉพาะสำหรับผู้ใช้ที่ยังไม่บรรลุนิติภาวะ และไม่มีการควบคุมโดยผู้ปกครองเพื่อให้ผู้ปกครองจำกัดการใช้แพลตฟอร์มของบุตรหลานได้
เมแกน การ์เซีย แม่ของเซเวียร์ กล่าวหา Character.AI ในคดีที่ดึงดูดลูกชายของเธอด้วย เธอกล่าวว่าแชทบอทของบริษัทได้รับการตั้งโปรแกรมให้ "ระบุตัวเองอย่างไม่ถูกต้องว่าเป็นคนจริง นักจิตบำบัดที่มีใบอนุญาต และเป็นผู้ใหญ่" ท้ายที่สุดแล้ว ทำให้ซีเวลล์ไม่เต็มใจที่จะใช้ชีวิตในโลกแห่งความเป็นจริง
นอกจากนี้ เธอยังตั้งชื่อให้ Google เป็นจำเลย โดยกล่าวว่า Google มีส่วนสำคัญต่อการพัฒนาทางเทคนิคของ Character.AI และควรได้รับการยกย่องว่าเป็น "ผู้ร่วมสร้าง"
Character.AI ได้ออกแถลงการณ์เกี่ยวกับคุณลักษณะด้านความปลอดภัยในภายหลัง" บริษัทกล่าวว่าได้แนะนำป๊อปอัปพร้อมท์ที่จะนำผู้ใช้ไปยังสายด่วนป้องกันการฆ่าตัวตายแห่งชาติ เมื่อพวกเขาแสดงความคิดเกี่ยวกับการทำร้ายตัวเอง นอกจากนี้ บริษัทวางแผนที่จะกรองเนื้อหาสำหรับผู้ใช้ที่ยังไม่บรรลุนิติภาวะเพื่อลดการเปิดเผยเนื้อหาที่ละเอียดอ่อนหรือมีการชี้นำ
Character.AI ออกแถลงการณ์เกี่ยวกับ X ในภายหลัง
Google กล่าวว่าไม่เกี่ยวข้องกับการพัฒนาผลิตภัณฑ์ Character.AI โฆษกเน้นย้ำว่าข้อตกลงของ Google กับ Character.AI นั้นจำกัดอยู่แค่ใบอนุญาตด้านเทคโนโลยีและไม่เกี่ยวข้องกับความร่วมมือด้านผลิตภัณฑ์
ทนายความของโจทก์เรียก Character.AI ว่า “สินค้ามีข้อบกพร่อง”
การพัฒนาความผูกพันทางอารมณ์กับแชทบอทกลายเป็นเรื่องปกติมากขึ้นเรื่อยๆ
บน Character.AI ผู้ใช้สามารถสร้างแชทบอทของตนเองและให้คำแนะนำเกี่ยวกับวิธีการปฏิบัติตนได้ ผู้ใช้ยังสามารถเลือกจากบอทที่ผู้ใช้สร้างขึ้นที่มีอยู่มากมาย ตั้งแต่การเลียนแบบ Elon Musk ไปจนถึงบุคคลในประวัติศาสตร์ เช่น Shakespeare หรือตัวละครที่ไม่ได้รับอนุญาต Character.AI ระบุว่าบอท "Daenerys Targaryen" ที่ Sewell ใช้นั้นถูกสร้างขึ้นโดยผู้ใช้โดยไม่ได้รับอนุญาตจาก HBO หรือผู้ถือลิขสิทธิ์รายอื่น และพวกเขาจะลบบอทที่ละเมิดลิขสิทธิ์ออกเมื่อมีการรายงาน
คดีนี้ยังก่อให้เกิดการอภิปรายในสหรัฐอเมริกาเกี่ยวกับความรับผิดทางกฎหมายของบริษัท AI ตามเนื้อผ้า แพลตฟอร์มโซเชียลมีเดียของสหรัฐอเมริกาได้รับการคุ้มครองโดยมาตรา 230 ของ Communications Decency Act และไม่รับผิดชอบต่อเนื้อหาที่ผู้ใช้สร้างขึ้น อย่างไรก็ตาม ด้วยการเพิ่มขึ้นของเนื้อหาที่สร้างโดย AI ชุมชนกฎหมายของสหรัฐอเมริกาได้เริ่มสำรวจว่าแพลตฟอร์มเทคโนโลยีสามารถรับผิดชอบต่อข้อบกพร่องในผลิตภัณฑ์ได้หรือไม่
สำนักงานกฎหมายที่เป็นตัวแทนของเมแกน การ์เซีย กล่าวว่า Character.AI เป็น "ผลิตภัณฑ์ที่มีข้อบกพร่อง" ซึ่งออกแบบมาเพื่อทำให้เกิดการเสพติดและทำร้ายจิตใจผู้ใช้ พวกเขาหวังว่าจะใช้วิธีการทางกฎหมายเพื่อบังคับให้บริษัทเทคโนโลยีรับผิดชอบต่อผลกระทบทางสังคมของผลิตภัณฑ์ของตน
บริษัทโซเชียลมีเดีย เช่น Meta และ Facebook ซึ่งเป็นบริษัทแม่ของ Instagram และ Facebook ByteDance ต้องเผชิญกับข้อกล่าวหาว่ามีส่วนทำให้เกิดปัญหาสุขภาพจิตในหมู่วัยรุ่น แม้ว่าพวกเขาจะไม่ได้เสนอแชทบอทที่คล้ายกับ Character.AI ก็ตาม บริษัทต่างๆ ได้ปฏิเสธข้อกล่าวหาในขณะที่นำเสนอคุณลักษณะด้านความปลอดภัยที่ได้รับการปรับปรุงใหม่สำหรับผู้เยาว์
ทนายความกล่าวว่าหลักฐานในปัจจุบันเป็นเรื่องยากที่จะพิสูจน์ความสัมพันธ์เชิงสาเหตุกับการเสียชีวิตของ AI
ทนายความ You Yunting หุ้นส่วนอาวุโสของสำนักงานกฎหมาย Shanghai Dabang กล่าวกับ The Paper ว่าตามหลักฐานในปัจจุบัน ไม่มีความสัมพันธ์เชิงสาเหตุระหว่างการเสียชีวิตของคู่กรณีที่เกี่ยวข้องในคดีนี้เนื่องจาก AI และเป็นการยากที่จะดึงข้อมูลที่สอดคล้องกัน สรุป (ใช้ AI ทำให้เสียชีวิต)
You Yunting กล่าวว่าจริงๆ แล้วมีปัญหาในแพลตฟอร์ม AI นั่นคือ จะต้องตรวจสอบและใช้อัลกอริธึมเพื่อวิเคราะห์การสนทนาระหว่างผู้ใช้และตัวแทนมากเกินไปหรือไม่ ในแง่หนึ่งสิ่งนี้เกี่ยวข้องกับปัญหาความเป็นส่วนตัวและการปกป้องข้อมูลส่วนบุคคล ในทางกลับกัน ผู้ใช้บางรายอาจมีปัญหาทางจิตร้ายแรงหรือแม้กระทั่งฆ่าตัวตายเนื่องจากการสนทนา อย่างไรก็ตาม การเกิดขึ้นของกรณีดังกล่าวอาจผลักดันให้ผู้ให้บริการตัวแทนอัจฉริยะทำการสำรวจทางเทคนิค ปรับปรุงอัลกอริธึม และติดตามการสนทนาของผู้ใช้ที่อาจมีปัญหาทางจิตอย่างจริงจัง เพื่อป้องกันไม่ให้เหตุการณ์ที่คล้ายกันเกิดขึ้น
“อาจกล่าวได้ว่าปัจจุบันมีเพียงกฎระเบียบห้ามเนื้อหาที่ผิดกฎหมาย แต่ในปัจจุบันยังไม่มีมาตรการและข้อบังคับเฉพาะที่เกี่ยวข้องในทางปฏิบัติและกฎหมายในการตรวจสอบเนื้อหาการสื่อสารของผู้ใช้และตรวจจับแนวโน้มการฆ่าตัวตายอย่างทันท่วงที บางทีในอนาคตตัวแทนอัจฉริยะ จะพูดคุยกับผู้คน ในแง่ของการป้องกันการปฏิบัติตามกฎระเบียบ อาจมีการพัฒนาเทคโนโลยีที่เกี่ยวข้อง นอกจากนี้ ในระดับกฎหมาย AI เทคโนโลยีจะไม่ได้รับการปฏิบัติในฐานะมนุษย์หรือสิ่งมีชีวิตในอนาคต ท้ายที่สุดแล้ว ด้วยเทคโนโลยี Transformer ที่ทันสมัยที่สุด เราเพียงคาดเดาผลลัพธ์ที่เป็นไปได้มากที่สุดตามบริบทเท่านั้น แต่ยังห่างไกลจากความคิดของมนุษย์ที่แท้จริง" โหยวหยุนถิง พูดว่า.
You Yunting เน้นย้ำว่าจีนมีกฎระเบียบเกี่ยวกับการสังเคราะห์บริการข้อมูลทางอินเทอร์เน็ตอย่างลึกซึ้งและมาตรการชั่วคราวในการจัดการบริการปัญญาประดิษฐ์เชิงกำเนิด ซึ่งจำเป็นต้องมีการออกแบบอัลกอริทึมของปัญญาประดิษฐ์เพื่อเคารพศีลธรรมและจริยธรรมทางสังคม ปฏิบัติตามค่านิยมสังคมนิยมหลัก ป้องกัน การเลือกปฏิบัติ เคารพสิทธิที่ชอบด้วยกฎหมายและผลประโยชน์ของผู้อื่น และจะต้องไม่เนื้อหาที่เกี่ยวข้องซึ่งเป็นอันตรายต่อสุขภาพกายและสุขภาพจิตของผู้อื่น แต่ปัญญาประดิษฐ์เจเนอเรชั่นนั้นเป็นสิ่งใหม่ และผู้ให้บริการทั่วโลกกำลังสำรวจวิธีการปกป้องผู้ใช้ที่มีปัญหาสุขภาพจิต
พนักงานของบริษัทยูนิคอร์นโมเดล AI ขนาดใหญ่ในประเทศบอกกับ The Paper ว่าการดูแลวัยรุ่นในประเทศนั้นเข้มงวดมาก อันดับแรก ผลิตภัณฑ์จะกำหนดขีดจำกัดอายุและโหมดเยาวชน ในโหมดเยาวชน จะมีระบบต่อต้านการติดยาเสพติดด้วย .
Character.AI กล่าวว่าจะเพิ่มฟีเจอร์ด้านความปลอดภัยสำหรับผู้ใช้อายุน้อย ซึ่งรวมถึงการเตือนผู้ใช้หลังจากใช้เวลาหนึ่งชั่วโมงบนแอป โดยมีข้อความเตือนว่า "นี่คือแชทบอท AI และไม่ใช่คนจริง ทุกสิ่งที่กล่าวไว้เป็นเพียงนิยาย และไม่ควรถือเป็นข้อเท็จจริงหรือคำแนะนำ" , Character.AI เริ่มแสดงข้อความป๊อปอัปแก่ผู้ใช้ โดยนำพวกเขาไปยังสายด่วนป้องกันการฆ่าตัวตาย หากข้อความของพวกเขามีคำหลักบางคำที่เกี่ยวข้องกับการทำร้ายตัวเองและการฆ่าตัวตาย แต่ข้อความป๊อปอัปเหล่านั้นไม่ได้เปิดใช้งานเมื่อซีเวลล์ฆ่าตัวตายในเดือนกุมภาพันธ์
The New York Times ระบุว่าห้องปฏิบัติการปัญญาประดิษฐ์ชั้นนำหลายแห่งปฏิเสธที่จะสร้างพันธมิตรด้าน AI ที่คล้ายกับ Character.AI เนื่องจากการพิจารณาด้านจริยธรรมและความเสี่ยง