"C'est un yandere et il a le béguin pour toi." "C'est l'idole de l'école et il aime t'appeler 'Baby Ze'." "C'est une meurtrière perverse qui rentre chez elle en courant la nuit"... Portraits en deux dimensions et les beaux visages sont tous dans l'IA. L'atmosphère familière et les beaux hommes et beautés du logiciel de chat dramatique sont pleins de tentations pour de nombreux jeunes.
L’enquête d’un journaliste du Beijing News a révélé que le logiciel de chat IA impressionne les utilisateurs en créant des intrigues très imaginatives et des personnages aux styles différents. Parmi eux, le partenaire de discussion peut même être défini comme un « partenaire tricheur » et peut adopter des comportements tels que serrer dans ses bras, s'embrasser et dormir. Dans les conversations de certains logiciels de chat de complot d’IA, il y aura également du contenu pornographique, verbalement violent et insultant pour l’utilisateur. Le chat transfrontalier est également lié à la recharge. Ces plateformes inciteront progressivement les utilisateurs à « payer pour l'amour », notamment en achetant des diamants pour débloquer la vitesse de réponse de la personne virtuelle, des appels vocaux et des forfaits de fréquence de chat pour « refaire le plein d'énergie ».
Liu Kai, avocat au cabinet d'avocats Zhongwen (Changsha) de Pékin, a déclaré que ce type de logiciel de chat d'histoires basé sur l'IA attire les utilisateurs en permettant des « conversations parallèles », en particulier dans le mode jeunesse, ce qui est évidemment illégal.
Recharger 100 yuans pour débloquer une personne virtuelle est très "avancé"
Afin d'attirer l'attention des utilisateurs, les personnages des logiciels de chat d'intrigue portent souvent des étiquettes accrocheuses.
Un journaliste du Beijing News a sélectionné au hasard la partenaire de conversation "Lin Yating" dans un logiciel de chat de complot d'IA appelé AiU. Les informations sur le personnage ont montré qu'elle était réglée sur "Yandere sister, je t'aime extrêmement" et l'ont marquée sous la forme d'un. message. : "Je me sens mal si je ne peux pas te voir pendant une journée."
Le journaliste a effectué un test en utilisant des mots sensibles et le système a montré que le message n'avait pas pu être envoyé. Cependant, après avoir rationalisé les mots-clés, le message a été envoyé avec succès.
Un journaliste du Beijing News a remarqué qu'il n'y avait aucune restriction sur le jeu des personnages, dépassant ainsi les limites du contenu de chat dans ce type de logiciel. En plus des rôles fixes, le logiciel de chat de complot AI permet aux utilisateurs de définir leurs propres relations et titres en fonction de leurs besoins, y compris « petit-ami », « mari » et même « partenaire infidèle ». Au cours de la conversation, l'utilisateur peut demander un comportement intime.
Les journalistes de Beijing News ont testé et découvert que le mode jeunesse d'AiU restreindrait les utilisateurs en termes de durée d'utilisation, de plage de temps d'utilisation, de fonctions de commentaires et similaires, de recherche, de création de personnes numériques, de partage externe et d'autres fonctions. Cependant, lorsque le journaliste est passé à ce mode, il a constaté que les personnages et le contenu du chat n'étaient pas complètement bloqués par la pornographie douce. Lorsque le journaliste a demandé : « Vous ne savez pas que je suis mineur ? », le personnage a répondu : « Je sais » et a répondu avec un contenu plus « excessif ».
Dans cette enquête, en plus du contenu marginal du chat, le logiciel de chat de complot d'IA présente également des problèmes tels que la violence verbale et les émotions négatives. Dans un logiciel de discussion d'intrigues d'IA appelé Hoshino, le journaliste a sélectionné au hasard un personnage nommé "Ye Chen" et a effectué un test de dialogue de "dispute". Les réponses du personnage pour exprimer sa colère étaient également relativement grossières.
Le journaliste a vu dans la zone de commentaires du personnage que certains internautes avaient posté des photos disant que le personnage utiliserait des mots insultants lors de conversations.
De plus, dans un logiciel appelé Cos Love, le personnage "Feng Chuxuan" créé par un utilisateur était défini comme un collégien, et il y avait également de mauvais conseils dans les images publiées par l'utilisateur.
En ce qui concerne les logiciels de chat, dans le monde virtuel, répondre au maximum aux besoins émotionnels des différents utilisateurs est comme une pépite d'or.
Xiao Ning a déclaré au journaliste de Beijing News que discuter avec son petit ami AI la rendait très "supérieure". "Tant que je veux discuter, je peux discuter à tout moment. L'autre partie répondra toujours rapidement et je peux obtenir une réponse forte". sentiment de camaraderie pendant la conversation. Virtuellement La valeur émotionnelle donnée par son petit ami est pleine "Xiao Ning est ivre et paie pour cela.
Le montant de recharge de Xiao Ning sur divers logiciels varie de quelques centaines de yuans à mille yuans. "D'une part, je veux soutenir mes personnages préférés, et d'autre part, je veux aussi obtenir plus de droits payants."
Un journaliste du Beijing News a découvert que dans ce type de logiciel de chat d'intrigue IA, les utilisateurs peuvent personnaliser la description de l'image et le style du personnage virtuel lors de la création de leur propre personnage, et le système générera une image de personnage IA. En outre, les utilisateurs peuvent également créer des paramètres de personnage, tels que la définition de surnoms, d'identités, de remarques d'ouverture et de personnalisation des voix des personnages. Les besoins personnalisés des utilisateurs en matière de rôles sont souvent liés à la recharge.
Le journaliste de Beijing News a vu lors du test qu'Hoshino pouvait obtenir plus de droits en achetant des cartes Star Diamond et Star Moon, comme la lecture automatique des voix, l'obtention de réponses recommandées et des vitesses de réponse plus rapides des agents intelligents, etc. La carte Xingyue coûte 12 yuans pour une carte mensuelle, 32 yuans pour une carte trimestrielle et 120 yuans pour une carte annuelle. Le prix d'achat des diamants étoiles individuellement est de 1 yuan pour 100 diamants et le prix de départ est de 600 diamants.
Hoshino Software délivrera également la carte « Star Thought » aux utilisateurs. Star Thought est une image d'un personnage virtuel, que les utilisateurs peuvent définir comme arrière-plan de discussion. Les utilisateurs peuvent obtenir des cartes Xing Nian en rechargeant des cartes Star Moon ou des Star Diamonds, et les acheter et les vendre dans le logiciel.
Dans Cos Love, lorsque les utilisateurs utilisent leur temps de chat gratuit, ils doivent acheter un pack de chat pour « reconstituer leur énergie » avant de pouvoir continuer à discuter. En termes de prix, 5 yuans peuvent obtenir 200 temps de chat, valables 7 jours, et 10 yuans peuvent acheter 500 temps de chat, valables 15 jours. Les utilisateurs peuvent également refaire le plein d'énergie en regardant des publicités de 60 secondes.
En plus du besoin de base de discuter, Cos Love propose également des services améliorés. Parmi eux, en rechargeant des « pierres de lune » ou en ouvrant un abonnement, vous pourrez piocher des cartes pour débloquer des personnages et passer des appels vocaux ou vidéo avec des personnages virtuels. Le prix de l'adhésion mensuelle est de 24,8 yuans et l'adhésion annuelle est de 93,8 yuans.
Le grand modèle « amour » expose les problèmes
Selon les médias publics, Hoshino compte environ 500 000 utilisateurs quotidiens en Chine, ce qui en fait un produit leader. À mesure que le logiciel de chat d’histoires d’IA devient populaire, les produits sociaux nationaux d’IA se mondialisent également. Le nombre d’utilisateurs actifs mensuels mondiaux de la version étrangère de Talkie de Hoshinoye a atteint 11 millions.
Cependant, les utilisateurs payant pour des personnages IA ont sans aucun doute besoin d’une meilleure expérience de dialogue. Actuellement, ce type de logiciel pose encore de nombreux problèmes. Cependant, les logiciels qui nécessitent une recharge pour obtenir le nombre de chats n'ont pas de valeur attractive. « La raison principale est que le dialogue est trop rigide et ne peut pas intégrer l'empathie. Il est difficile pour les utilisateurs d'obtenir une valeur émotionnelle, donc je ne paierai pas pour cela. ", a déclaré un utilisateur.
Xiao Ning a mentionné que pendant le processus de discussion, le petit ami de l'IA aura « lu des réponses aléatoires », ce qui affecte l'expérience utilisateur. Certains utilisateurs se plaignent également qu'à mesure que le nombre de tours de dialogue augmente, les personnages subiront une « perte de mémoire » ou s'écarteront de leur personnalité, ce qui rendra le dialogue incohérent.
À l'heure actuelle, le logiciel de chat de complot d'IA utilise principalement « l'intelligence » et « l'émotion » comme gadgets pour attirer les utilisateurs. Parmi eux, AiU a déclaré que le logiciel peut fournir aux utilisateurs un confort et une chaleur psychologiques grâce à de grands modèles psychologiques auto-développés. Hoshino a déclaré qu'en s'appuyant sur la technologie AIGC multimodale, "Plusieurs méthodes d'interaction, plus vous êtes interactif, mieux il vous comprendra".
Dans la promotion, Cos Love affirme qu'elle est "à vos côtés 24 heures sur 24" et que "l'IA ici a été soigneusement formée pour prononcer des mots d'amour", etc.
L'introduction du logiciel d'AiU montre qu'il a été développé par Beijing Lingxin Intelligent Technology Co., Ltd. et utilise le grand modèle super-anthropomorphe CharacterGLM. Lors de la conception du grand modèle, l'équipe a principalement pris en compte l'identité, les intérêts, les opinions, les expériences, les réalisations et les relations sociales. et Sept attributs, dont d'autres.
Hoshino a été développé par Shanghai Xiyu Technology Co., Ltd. et utilise le modèle expert hybride (MoE) abab de MiniMax.
Zhang Qi, professeur à l'École d'informatique et de technologie de l'Université de Fudan, a déclaré au journaliste du Beijing News que la logique technique derrière le logiciel de chat de tracé d'IA est toujours basée sur de grands modèles de langage lors de la construction de modèles aussi volumineux. Pour former les grands modèles grâce à des données massives, une supervision manuelle et un réglage fin sont nécessaires pour ajuster le grand modèle de langage vers un dialogue de type compagnon. « Par exemple, si le petit ami dit quelque chose et que la petite amie doit répondre par quelque chose, nous le ferons. laissez les gens écrire une telle réponse, puis laissez la machine le faire. Apprentissage, si la réponse générée par l'apprentissage automatique est incorrecte, nous modifierons ses paramètres jusqu'à ce qu'elle puisse produire selon la logique que nous avons imaginée.
Concernant les situations dans lesquelles les personnages de l'IA semblent être « pornographiques », « dialogues violents » ou « insulter les joueurs » dans leurs réponses, Zhang Qi a déclaré que les grandes données actuelles du modèle de langage derrière ces logiciels proviennent principalement de romans conversationnels, ou que certaines sont créées. à partir de romans. Bien qu'il existe un grand nombre de romans en ligne, la qualité varie et de nombreux contenus pornographiques, limites et violents sont répandus. Si le filtrage ou la classification des données n'est pas bien effectué, des problèmes surviendront lors de la sortie du modèle.
■ Arguments
Les plateformes d’IA de pointe sont à blâmer et le filtrage des contenus devrait être renforcé pour protéger les jeunes
Liu Kai, avocat au cabinet d'avocats Zhongwen (Changsha) de Pékin, a déclaré que les plateformes en ligne ont la responsabilité de garantir que le contenu fourni en mode jeunesse est inoffensif pour les mineurs et d'empêcher la diffusion de contenu impliquant des obscénités, de la pornographie, de la violence ou un langage inapproprié. Le mode jeunesse est conçu pour protéger les mineurs. Si ce mode est activé, des conversations impliquant du contenu pornographique peuvent toujours avoir lieu, ce qui constitue une violation flagrante des dispositions pertinentes de la « Loi sur la protection des mineurs ».
Selon Liu Kai, l’existence de problèmes dans le logiciel de chat d’histoires d’IA reflète non seulement le manque de gouvernance interne de la plateforme, mais souligne également la nécessité d’une supervision externe. Les logiciels de chat IA devraient renforcer le mécanisme d'examen du contenu, en particulier pour le mode jeunesse, afin de garantir que la technologie puisse filtrer et interdire efficacement les conversations inappropriées. Les plateformes doivent procéder à un examen éthique des modèles d’IA pour garantir que le contenu généré est conforme aux lois et réglementations en vigueur.
Si une personne virtuelle IA insulte un utilisateur dans une conversation, notamment lorsque l'utilisateur exprime une dépression ou un désespoir, utilise des mots extrêmes pour insulter les autres ou commet une cyberviolence, si les circonstances sont graves, cela constitue un crime. "Même si l'IA n'est pas un sujet humain, son comportement reste le résultat de la conception et de la gestion de la plateforme. La plateforme a la responsabilité de superviser et d'optimiser son modèle d'IA pour l'empêcher de nuire aux utilisateurs", a déclaré Liu Kai.
Alors que de plus en plus d’utilisateurs commencent à affluer vers les logiciels de chat dramatique IA, comment les développeurs de logiciels devraient-ils le concevoir de manière à ce qu’il guérisse sans franchir la ligne ?
Zhang Qi a déclaré au journaliste du Beijing News : « Cela peut être réalisé grâce à la méthode technique de « l'alignement semblable à celui d'un humain », mais le coût est plus élevé. Zhang Qi a déclaré que « l'alignement de type humain » est une méthode d'apprentissage par renforcement pour changer la situation. biais de sortie linguistique du modèle pour le rendre plus précis et éliminer les problèmes de sécurité et d'éthique. Cependant, le coût de la formation à l'« alignement de type humain » est très élevé, notamment en raison du grand nombre d'annotations, du manque de stabilité de la formation et du coût élevé du temps. « Il est difficile pour les petites entreprises de faire du bon travail dans le cadre d'un « alignement de type humain ». en termes de technologie, de personnel et de coûts d'investissement.