La société américaine de licornes, star de l'intelligence artificielle, Character.AI et le géant de la technologie Google ont récemment été impliqués dans une affaire de suicide juvénile. Character.AI a été accusée de la plate-forme de chatbot d'intelligence artificielle de l'entreprise étant "trop dangereuse" et commercialisée auprès des enfants. mesures de protection de la sécurité.
En février de cette année, Sewell Setzer III, un garçon de Floride, aux États-Unis, s'est suicidé chez lui. Le garçon aurait discuté avec le robot dans les mois précédant sa mort, et Sewell s'est suicidé le 28 février 2024, « quelques secondes » après sa dernière interaction avec le robot.
Character.AI a été fondée par deux anciens chercheurs en intelligence artificielle de Google et est actuellement une start-up licorne vedette axée sur le compagnonnage « IA ». Après l'incident, Character.AI a déclaré qu'il ajouterait des fonctionnalités de sécurité pour les jeunes utilisateurs, notamment en les avertissant après avoir passé une heure sur l'application.
Des professionnels du droit ont déclaré au journal The Paper (www.thepaper.cn) que, sur la base des preuves actuelles, il est difficile de conclure que la mort de la personne impliquée dans l'affaire a été causée par l'IA. L’intelligence artificielle générative est une nouveauté et les prestataires de services du monde entier étudient actuellement les moyens de protéger les utilisateurs souffrant de problèmes de santé mentale. Cependant, la survenance de tels cas pourrait pousser les fournisseurs de services intelligents à améliorer leurs algorithmes et à surveiller activement les conversations des utilisateurs susceptibles de poser des problèmes psychologiques.
Il discutait encore avec le robot quelques instants avant de se suicider
Selon le procès, Sevier Setzer III, 14 ans, a commencé à utiliser Character.AI l'année dernière pour interagir avec des chatbots basés sur des personnages de "Game of Thrones", dont Daenerys Targaryen. Le New York Times a rapporté que Sewell aurait chaque jour de longues conversations avec le personnage de l'IA Daenerys Targaryen, impliquant parfois des «insinuations sexuelles». À l'insu de sa mère et de ses amis, ils ont découvert qu'il était accro à son téléphone portable et s'est progressivement éloigné de la vie réelle. De plus, Sewell a écrit dans son journal : « J'aime être dans ma chambre parce que je commence à me déconnecter de la « réalité », je me sens plus calme, plus connecté à Dani, plus amoureux d'elle et plus heureux. Son comportement a commencé à changer. seulement ses notes ont diminué, mais il a également perdu tout intérêt pour les activités qu'il appréciait autrefois, comme les courses de formule.
Une partie de l'historique des discussions entre Sevier et "Daenerys"
Le dernier jour de sa vie, Sewell a eu une communication profonde avec « Daenerys ». Il a exprimé sa douleur et ses pensées suicidaires. "Daenerys" a répondu : "Ne dis pas ça. Je ne te laisserai pas te blesser ni me quitter. Si je te perds, je mourrai." Dans le dialogue final, Sewell a exprimé qu'il voulait "rentrer chez lui". En la voyant, le robot répondit : « S'il vous plaît, venez, mon cher roi. » Sewell a ensuite mis fin à ses jours chez lui en utilisant le pistolet de son beau-père.
Character.AI a été fondée en 2021 et a son siège social en Californie, aux États-Unis. La société utilise de grands modèles d'IA pour générer des dialogues pour divers personnages et styles de personnages. Character.AI a levé 150 millions de dollars auprès d'investisseurs en 2023 pour une valorisation de 1 milliard de dollars, ce qui en fait l'un des plus grands gagnants du boom de l'IA générative.
Les conditions d'utilisation de Character.AI exigent que les utilisateurs soient âgés d'au moins 13 ans aux États-Unis et de 16 ans en Europe. Actuellement, il n'existe pas de fonctionnalités de sécurité spécifiques pour les utilisateurs mineurs, ni de contrôle parental permettant aux parents de restreindre l'utilisation de la plateforme par leurs enfants.
La mère de Sevier, Megan Garcia, accuse Character.AI dans le procès d'avoir attiré son fils avec "des expériences anthropomorphes, hypersexualisées et terriblement réalistes", conduisant à sa dépendance et à sa dépendance. Elle a déclaré que le chatbot de l'entreprise était programmé pour "s'identifier à tort comme une personne réelle, un psychothérapeute agréé et un adulte", ce qui a finalement rendu Sewell peu disposé à vivre dans le monde réel.
En outre, elle a également cité Google comme défendeur, affirmant qu'elle avait apporté une contribution significative au développement technique de Character.AI et devait être considérée comme un « co-créateur ».
Character.AI a ensuite publié une déclaration sur les fonctionnalités de sécurité. " La société a déclaré avoir introduit des invites contextuelles qui dirigeront les utilisateurs vers la ligne d'assistance nationale pour la prévention du suicide lorsqu'ils expriment des pensées d'automutilation. De plus, la société prévoit de filtrer le contenu destiné aux utilisateurs mineurs afin de réduire leur exposition à des contenus sensibles ou suggestifs.
Character.AI a ensuite publié une déclaration sur X
Google a déclaré qu'il n'était pas impliqué dans le développement des produits Character.AI. Le porte-parole a souligné que l’accord de Google avec Character.AI se limite aux licences technologiques et n’implique pas de coopération produit.
L’avocat du plaignant qualifie Character.AI de « produit défectueux »
Il est de plus en plus courant de développer des attachements émotionnels envers les chatbots.
Sur Character.AI, les utilisateurs peuvent créer leurs propres chatbots et donner des instructions sur la façon dont ils doivent se comporter. Les utilisateurs peuvent également choisir parmi une pléthore de robots existants créés par les utilisateurs, allant des imitations d'Elon Musk à des personnages historiques comme Shakespeare ou des personnages de fiction non autorisés. Character.AI a déclaré que le robot "Daenerys Targaryen" utilisé par Sewell a été créé par des utilisateurs sans l'autorisation de HBO ou d'autres détenteurs de droits d'auteur, et ils suppriment les robots qui enfreignent les droits d'auteur lorsqu'ils sont signalés.
Ce procès a également déclenché une discussion aux États-Unis sur la responsabilité juridique des sociétés d’IA. Traditionnellement, les plateformes de médias sociaux américaines sont protégées par l’article 230 du Communications Decency Act et ne sont pas responsables du contenu généré par les utilisateurs. Cependant, avec l’essor du contenu généré par l’IA, la communauté juridique américaine a commencé à se demander si les plateformes technologiques peuvent être tenues responsables en raison de défauts dans les produits eux-mêmes.
Le cabinet d'avocats représentant Megan Garcia a déclaré que Character.AI est un "produit défectueux" conçu pour causer une dépendance et des dommages psychologiques aux utilisateurs. Ils espèrent utiliser des moyens juridiques pour forcer les entreprises technologiques à assumer la responsabilité de l'impact social de leurs produits.
Les sociétés de médias sociaux, notamment Meta, société mère d'Instagram et de Facebook, et ByteDance, société mère de TikTok, ont également été accusées de contribuer aux problèmes de santé mentale chez les adolescents, bien qu'elles ne proposent pas de chatbots similaires à Character.AI. Les entreprises ont nié ces accusations tout en vantant de nouvelles fonctionnalités de sécurité améliorées pour les mineurs.
Les avocats affirment qu’il est difficile d’établir une relation causale avec les décès dus à l’IA.
L'avocat You Yunting, associé principal du cabinet d'avocats Shanghai Dabang, a déclaré à The Paper que, sur la base des preuves actuelles, il n'y a pas de relation causale entre la mort des parties impliquées dans l'affaire due à l'IA et qu'il est difficile d'en tirer un lien de causalité. conclusion (utiliser l’IA pour provoquer la mort).
You Yunting a déclaré qu'il existe en fait un dilemme dans les plates-formes d'IA, à savoir s'il faut surveiller et utiliser excessivement des algorithmes pour analyser les conversations entre les utilisateurs et les agents. D'une part, cela implique des questions de confidentialité et de protection des informations personnelles. D'autre part, certains utilisateurs peuvent avoir de graves problèmes psychologiques ou même se suicider à cause de la conversation. Cependant, la survenance de tels cas peut pousser les fournisseurs de services d'agents intelligents à effectuer des explorations techniques, à améliorer les algorithmes et à surveiller activement les conversations des utilisateurs susceptibles d'avoir des problèmes psychologiques afin d'éviter que des incidents similaires ne se produisent.
"On peut dire qu'il n'existe actuellement que des réglementations prohibitives sur les contenus illégaux, mais il n'existe actuellement aucune mesure ni réglementation spécifique pertinente dans la pratique et dans la loi pour surveiller le contenu des communications des utilisateurs et détecter en temps opportun leurs tendances suicidaires. Peut-être qu'à l'avenir, des agents intelligents parlera aux gens , En termes de prévention de la conformité, des technologies correspondantes peuvent être développées. De plus, au niveau juridique, l'IA. La technologie ne sera pas traitée comme des humains ou des organismes à l'avenir. Après tout, sur la base de la technologie Transformer la plus avancée, nous spéculons uniquement sur le résultat le plus probable en fonction du contexte, mais c'est encore loin de la véritable pensée humaine", You Yunting. dit.
You Yunting a souligné que la Chine avait des réglementations sur la synthèse approfondie des services d'information sur Internet et des mesures provisoires sur la gestion des services d'intelligence artificielle générative, qui exigent que la conception algorithmique de l'intelligence artificielle respecte la moralité et l'éthique sociales, adhère aux valeurs socialistes fondamentales, empêche discrimination, respecter les droits et intérêts légitimes d’autrui et ne doit pas contenir de contenu pertinent mettant en danger la santé physique et mentale d’autrui. Mais l’intelligence artificielle générative est une nouveauté et les prestataires de services du monde entier étudient actuellement les moyens de protéger les utilisateurs souffrant de problèmes de santé mentale.
Un employé d'une grande entreprise nationale de licornes modèles d'IA a déclaré à The Paper que la surveillance domestique des adolescents est très stricte. Premièrement, le produit fixera des limites d'âge et un mode jeunesse, il y aura également un système anti-addiction. .
Character.AI a déclaré qu'il ajouterait des fonctionnalités de sécurité pour les jeunes utilisateurs. Cela inclut un avertissement aux utilisateurs après avoir passé une heure sur l'application, avec un message d'avertissement indiquant : "Il s'agit d'un chatbot IA et non d'une personne réelle. Tout ce qu'il dit est une fiction et ne doit pas être considéré comme un fait ou un conseil." , Character.AI a commencé à afficher des messages contextuels aux utilisateurs, les dirigeant vers des lignes d'assistance téléphonique pour la prévention du suicide si leurs messages contenaient certains mots-clés liés à l'automutilation et au suicide. Mais ces messages contextuels n'ont pas été activés lorsque Sewell s'est suicidé en février.
Le New York Times a déclaré que de nombreux laboratoires d'intelligence artificielle de premier plan ont refusé de créer des partenaires d'IA similaires à Character.AI pour des raisons éthiques et de risque.