การวิจัยล่าสุดพบว่าเกือบ 10% ของผู้ใช้ AI chatbot ในทางที่ผิดเทคโนโลยีสำหรับการสนทนาลามกอนาจาร การค้นพบจากการวิเคราะห์เชิงลึกของการสนทนา chatbot 100,000 ครั้งพบว่าประมาณ 10% ของการสนทนาที่เกี่ยวข้องกับหัวข้อลามกอนาจาร การศึกษาครั้งนี้ไม่เพียง แต่เผยให้เห็นถึงการมีปฏิสัมพันธ์ที่แท้จริงระหว่างผู้ใช้และ chatbots แต่ยังเป็นพื้นฐานที่สำคัญสำหรับการปรับปรุงความปลอดภัยของ chatbots ในโลกแห่งความเป็นจริง
ทีมวิจัยแบ่งหัวข้อการละเมิดออกเป็นสามประเภทรวมถึงเรื่องเล่าลามกอนาจารแฟนตาซีทางเพศและการสวมบทบาทและการอภิปรายเกี่ยวกับพฤติกรรมที่เป็นอันตราย หมวดหมู่เหล่านี้ช่วยให้นักวิจัยระบุและจัดการกับรูปแบบต่าง ๆ ของการละเมิด chatbots ได้อย่างแม่นยำยิ่งขึ้น ผ่านการวิเคราะห์โดยละเอียดของการสนทนาเหล่านี้นักวิจัยสามารถเข้าใจรูปแบบพฤติกรรมของผู้ใช้ได้ดีขึ้นและพัฒนามาตรการความปลอดภัยที่มีประสิทธิภาพมากขึ้น
การศึกษายังชี้ให้เห็นว่าแม้ว่าผู้ใช้ส่วนใหญ่จะใช้ chatbots สำหรับการสื่อสารปกติ แต่การมีอยู่ของการละเมิดไม่สามารถเพิกเฉยได้ นักวิจัยได้เรียกร้องให้นักพัฒนาเทคโนโลยีและผู้ให้บริการแพลตฟอร์มเพื่อเสริมสร้างการกำกับดูแลของ chatbots เพื่อป้องกันไม่ให้พวกเขาใช้เพื่อวัตถุประสงค์ที่ไม่เหมาะสม ในขณะเดียวกันทีมวิจัยแนะนำให้ผู้ใช้ยังคงระมัดระวังเมื่อใช้ chatbots และหลีกเลี่ยงการเข้าร่วมหรือเริ่มการสนทนาที่ไม่เหมาะสม
นอกจากนี้การศึกษาสำรวจผลกระทบที่อาจเกิดขึ้นจากการละเมิด chatbot รวมถึงผลกระทบด้านลบต่อสุขภาพจิตของผู้ใช้และความเสียหายที่อาจเกิดขึ้นต่อการปฏิสัมพันธ์ทางสังคม นักวิจัยเน้นว่าในขณะที่แชทบอทให้วิธีการที่สะดวกในการสื่อสารผู้คนการทารุณกรรมของพวกเขาอาจนำมาซึ่งปัญหาสังคมที่ต้องได้รับความสนใจอย่างกว้างขวาง
โดยรวมแล้วการศึกษานี้ให้มุมมองใหม่สำหรับการทำความเข้าใจการใช้ AI chatbots และให้การอ้างอิงที่สำคัญสำหรับการปรับปรุงความปลอดภัยของพวกเขา ในอนาคตด้วยการพัฒนาเทคโนโลยีอย่างต่อเนื่องวิธีการป้องกันไม่ให้แชทบอทถูกทารุณกรรมจะกลายเป็นความท้าทายที่สำคัญสำหรับนักพัฒนาเทคโนโลยีและนักวิจัย