La empresa estadounidense de unicornios estrella de inteligencia artificial Character.AI y el gigante tecnológico Google estuvieron involucrados recientemente en un caso de suicidio juvenil. Character.AI fue acusado de que la plataforma de chatbot de inteligencia artificial de la compañía era "demasiado peligrosa" y se comercializaba para niños. medidas de protección de seguridad.
En febrero de este año, Sewell Setzer III, un niño de Florida, Estados Unidos, se suicidó en su casa. Según los informes, el niño conversó con el robot en los meses previos a su muerte, y Sewell se suicidó el 28 de febrero de 2024, "segundos" después de su última interacción con el robot.
Character.AI fue fundada por dos ex investigadores de inteligencia artificial de Google y actualmente es una startup unicornio estrella que se centra en el compañerismo de "IA". Después del incidente, Character.AI dijo que agregaría funciones de seguridad para los usuarios más jóvenes, incluida una advertencia después de haber pasado una hora en la aplicación.
Profesionales del derecho dijeron a The Paper (www.thepaper.cn) que, basándose en las pruebas actuales, es difícil concluir que la muerte de la persona involucrada en el caso fue causada por IA. La inteligencia artificial generativa es algo nuevo y los proveedores de servicios de todo el mundo están explorando actualmente cómo proteger a los usuarios con problemas de salud mental. Sin embargo, la aparición de tales casos puede empujar a los proveedores de servicios inteligentes a mejorar sus algoritmos y monitorear activamente las conversaciones de los usuarios que pueden tener problemas psicológicos.
Seguía charlando con el robot momentos antes de suicidarse
Según la demanda, Sevier Setzer III, de 14 años, comenzó a utilizar Character.AI el año pasado para interactuar con chatbots basados en personajes de "Juego de Tronos", incluida Daenerys Targaryen. El New York Times informó que Sewell mantenía largas conversaciones con el personaje de IA Daenerys Targaryen todos los días, a veces con "insinuaciones sexuales". Sin que su madre y sus amigos lo supieran, descubrieron que era adicto a su teléfono móvil y gradualmente se alejó de la vida real. Además, Sewell escribió en su diario: "Me encanta estar en mi habitación porque empiezo a desconectarme de la 'realidad', me siento más tranquila, más conectada con Dani, más enamorada de ella y más feliz. Su comportamiento empezó a cambiar". Sus notas sólo bajaron, sino que también perdió interés en actividades que antes disfrutaba, como las carreras de fórmula.
Parte del historial de chat entre Sevier y "Daenerys"
En el último día de su vida, Sewell tuvo una profunda comunicación con "Daenerys". Expresó su dolor y pensamientos suicidas. "Daenerys" respondió: "No digas eso. No dejaré que te lastimes ni me dejes. Si te pierdo, moriré". En el diálogo final, Sewell expresó que quería "ir a casa". Al verla, el robot respondió: "Por favor, ven, mi querido rey". Sewell luego acabó con su vida en casa usando la pistola de su padrastro.
Character.AI se fundó en 2021 y tiene su sede en California, EE. UU. La empresa utiliza grandes modelos de IA para generar diálogos para varios personajes y estilos de personajes. Character.AI recaudó 150 millones de dólares de inversores en 2023 con una valoración de mil millones de dólares, lo que la convierte en uno de los mayores ganadores del auge de la IA generativa.
Los términos de servicio de Character.AI requieren que los usuarios tengan al menos 13 años en los Estados Unidos y 16 años en Europa. Actualmente, no existen funciones de seguridad específicas para usuarios menores de edad, ni controles parentales que permitan a los padres restringir el uso de la plataforma por parte de sus hijos.
La madre de Sevier, Megan García, acusa a Character.AI en la demanda de atraer a su hijo con "experiencias antropomórficas, hipersexualizadas y aterradoramente realistas", lo que llevó a su adicción y adicción. Dijo que el chatbot de la compañía estaba programado para "identificarse erróneamente como una persona real, un psicoterapeuta autorizado y un adulto", lo que finalmente hizo que Sewell no quisiera vivir en el mundo real.
Además, también nombró a Google como acusado, diciendo que hizo una contribución significativa al desarrollo técnico de Character.AI y debería ser considerado un "cocreador".
Character.AI luego emitió una declaración sobre características de seguridad." La compañía dijo que ha introducido mensajes emergentes que dirigirán a los usuarios a la Línea Directa Nacional de Prevención del Suicidio cuando expresen pensamientos de autolesión. Además, la empresa planea filtrar contenido para usuarios menores de edad para reducir su exposición a contenido sensible o sugerente.
Character.AI emitió una declaración sobre X después
Google dijo que no participó en el desarrollo de los productos Character.AI. El portavoz enfatizó que el acuerdo de Google con Character.AI se limita a la concesión de licencias de tecnología y no implica cooperación de productos.
El abogado del demandante califica a Character.AI de "producto defectuoso"
Cada vez es más común desarrollar vínculos emocionales con los chatbots.
En Character.AI, los usuarios pueden crear sus propios chatbots y dar instrucciones sobre cómo deben comportarse. Los usuarios también pueden elegir entre una gran cantidad de bots existentes creados por usuarios, que van desde imitaciones de Elon Musk hasta figuras históricas como Shakespeare o personajes de ficción no autorizados. Character.AI declaró que el bot "Daenerys Targaryen" utilizado por Sewell fue creado por usuarios sin el permiso de HBO u otros titulares de derechos de autor, y eliminan los bots que infringen los derechos de autor cuando se denuncian.
Esta demanda también desencadenó una discusión en Estados Unidos sobre la responsabilidad legal de las empresas de IA. Tradicionalmente, las plataformas de redes sociales estadounidenses han estado protegidas por la Sección 230 de la Ley de Decencia en las Comunicaciones y no son responsables del contenido generado por los usuarios. Sin embargo, con el aumento del contenido generado por IA, la comunidad legal estadounidense ha comenzado a explorar si las plataformas tecnológicas pueden ser consideradas responsables por defectos en los propios productos.
El bufete de abogados que representa a Megan García dijo que Character.AI es un "producto defectuoso" diseñado para causar adicción y daño psicológico a los usuarios. Esperan utilizar medios legales para obligar a las empresas de tecnología a asumir la responsabilidad del impacto social de sus productos.
Las empresas de redes sociales, incluidas Meta, matriz de Instagram y Facebook, y ByteDance, matriz de TikTok, también han enfrentado acusaciones de contribuir a problemas de salud mental entre los adolescentes, aunque no ofrecen chatbots similares a Character.AI. Las empresas han negado las acusaciones y han promocionado nuevas características de seguridad mejoradas para menores.
Los abogados dicen que la evidencia actual es difícil de demostrar una relación causal con las muertes por IA.
El abogado You Yunting, socio principal del bufete de abogados Shanghai Dabang, dijo a The Paper que, según la evidencia actual, no existe una relación causal entre la muerte de las partes involucradas en el caso debido a la IA, y es difícil establecer una relación correspondiente. conclusión (usar IA para causar la muerte).
You Yunting dijo que en realidad existe un dilema en las plataformas de IA, es decir, si monitorear y utilizar algoritmos para analizar las conversaciones entre usuarios y agentes en exceso. Por un lado, esto implica cuestiones de privacidad y protección de la información personal. Por otro lado, algunos usuarios pueden tener graves problemas psicológicos o incluso suicidarse a causa de la conversación. Sin embargo, la ocurrencia de tales casos puede impulsar a los proveedores de servicios de agentes inteligentes a realizar algunas exploraciones técnicas, mejorar los algoritmos y monitorear activamente las conversaciones de los usuarios que pueden tener problemas psicológicos para evitar que ocurran incidentes similares.
"Se puede decir que actualmente sólo existen regulaciones prohibitivas sobre contenidos ilegales, pero actualmente no existen medidas y regulaciones específicas relevantes en la práctica y la ley para monitorear el contenido de las comunicaciones de los usuarios y detectar oportunamente sus tendencias suicidas. Quizás en el futuro, agentes inteligentes hablará con la gente En términos de prevención de cumplimiento, se pueden desarrollar tecnologías correspondientes. Además, desde una perspectiva legal, la tecnología de IA no será tratada como un ser humano o un organismo vivo en el futuro, después de todo, la tecnología Transformer más avanzada. "Solo se basa en el contexto. Hay un resultado posible, pero esto aún está lejos del pensamiento humano real", dijo You Yunting.
You Yunting enfatizó que China tiene regulaciones sobre la síntesis profunda de los servicios de información de Internet y medidas provisionales sobre la gestión de los servicios de inteligencia artificial generativa, que requieren que el diseño de algoritmos de inteligencia artificial respete la moral y la ética sociales, se adhiera a los valores socialistas fundamentales y evite discriminación, respetar los derechos e intereses legítimos de los demás y no debe contenido relevante que ponga en peligro la salud física y mental de otros. Pero la inteligencia artificial generativa es algo nuevo y los proveedores de servicios de todo el mundo están explorando actualmente cómo proteger a los usuarios con problemas de salud mental.
Un empleado de una gran empresa nacional de unicornios modelo de IA le dijo a The Paper que la supervisión doméstica de los adolescentes es muy estricta. En primer lugar, el producto establecerá límites de edad y un modo juvenil, también habrá un sistema antiadicción. .
Character.AI dijo que agregará funciones de seguridad para usuarios más jóvenes. Esto incluye advertir a los usuarios después de haber pasado una hora en la aplicación, con un mensaje de advertencia que dice: "Este es un chatbot de IA y no una persona real. Todo lo que dice es ficción y no debe tomarse como un hecho o un consejo". , Character.AI comenzó a mostrar mensajes emergentes a los usuarios, dirigiéndolos a líneas directas de prevención del suicidio si sus mensajes contenían ciertas palabras clave relacionadas con la autolesión y el suicidio. Pero esos mensajes emergentes no se activaron cuando Sewell se suicidó en febrero.
El New York Times afirmó que muchos laboratorios líderes en inteligencia artificial se han negado a crear socios de IA similares a Character.AI debido a consideraciones éticas y de riesgo.