„Er ist ein Yandere und ist in dich verknallt.“ „Er ist das Schulidol und nennt dich gerne ‚Baby Ze‘.“ „Sie ist eine perverse Mörderin, die nachts nach Hause rennt“... Zweidimensionale Porträts und Schöne Gesichter sind alle in KI. Die familiäre Atmosphäre und die gutaussehenden Männer und Schönheiten in der Drama-Chat-Software sind für viele junge Menschen voller Versuchungen.
Die Untersuchung eines Beijing News-Reporters ergab, dass KI-Chat-Software Benutzer beeindruckt, indem sie äußerst einfallsreiche Handlungen und Charaktere mit unterschiedlichen Stilen inszeniert. Unter anderem kann der Chatpartner sogar als „Fremdpartner“ eingestellt werden und Verhaltensweisen wie Umarmen, Küssen und Schlafen ausführen. In den Gesprächen einiger KI-Plot-Chat-Software wird es auch Inhalte geben, die pornographisch, verbal gewalttätig und beleidigend für den Benutzer sind. Grenzüberschreitendes Chatten ist auch mit dem Aufladen verbunden. Diese Plattformen werden Benutzer nach und nach dazu veranlassen, „für Liebe zu bezahlen“, einschließlich des Kaufs von Diamanten, um die Reaktionsgeschwindigkeit der virtuellen Person freizuschalten, sowie von Sprachanrufen und Chat-Frequenzpaketen, um „Energie aufzufüllen“.
Liu Kai, Anwalt bei der Anwaltskanzlei Beijing Zhongwen (Changsha), sagte, dass diese Art von KI-Story-Chat-Software Benutzer anzieht, indem sie „Nebengespräche“ zulässt, insbesondere im Jugendmodus, was offensichtlich illegal ist.
Das Aufladen von 100 Yuan zum Freischalten einer virtuellen Person ist sehr „fortgeschritten“
Um die Aufmerksamkeit der Benutzer zu erregen, sind Charaktere in Plot-Chat-Software häufig mit auffälligen Beschriftungen versehen.
Ein Reporter der Beijing News wählte zufällig die Chatpartnerin „Lin Yating“ in einer KI-Plot-Chat-Software namens AiU aus. Die Charakterinformationen zeigten, dass sie auf „Yandere Schwester, ich liebe dich extrem“ eingestellt war und markierte es in Form eines Nachricht: „Ich fühle mich schlecht, wenn ich dich einen Tag lang nicht sehen kann.“
Der Reporter führte einen Test mit sensiblen Wörtern durch und das System zeigte, dass die Nachricht nicht gesendet werden konnte. Nach der Optimierung der Schlüsselwörter wurde die Nachricht jedoch erfolgreich gesendet.
Ein Reporter der Beijing News bemerkte, dass es keine Einschränkungen für das Charakterspiel gibt, was die Grenzen von Chat-Inhalten in dieser Art von Software sprengt. Zusätzlich zu festen Rollen ermöglicht die KI-Plot-Chat-Software den Benutzern, ihre eigenen Beziehungen und Titel entsprechend ihren Bedürfnissen zu definieren, darunter „Freund“, „Ehemann“ und sogar „fremdgehender Partner“. Während des Gesprächs kann der Benutzer ein intimes Verhalten anfordern.
Reporter von Beijing News haben getestet und festgestellt, dass der Jugendmodus von AiU Benutzer hinsichtlich der Nutzungsdauer, des Nutzungszeitraums, der Kommentar- und Like-Funktionen, der Suche, der Erstellung digitaler Personen, des externen Teilens und anderer Funktionen einschränkt. Als der Reporter jedoch in diesen Modus wechselte, stellte er fest, dass die Charaktere und Chatinhalte nicht vollständig für Softpornos gesperrt waren. Als der Reporter fragte: „Wissen Sie nicht, dass ich minderjährig bin?“ sagte die Figur: „Ich weiß“ und antwortete mit einem „übertriebeneren“ Inhalt.
In dieser Untersuchung weist die KI-Plot-Chat-Software neben dem Randinhalt des Chats auch Probleme wie verbale Gewalt und negative Emotionen auf. In einer KI-Plot-Chat-Software namens Hoshino wählte der Reporter zufällig eine Figur namens „Ye Chen“ aus und führte einen „Streit“-Dialogtest durch. Die Antworten der Figur, um ihre Wut auszudrücken, waren ebenfalls relativ unhöflich.
Der Reporter sah im Kommentarbereich der Figur, dass einige Internetnutzer Bilder gepostet hatten, auf denen stand, dass die Figur in Gesprächen beleidigende Worte verwenden würde.
Darüber hinaus wurde in einer Software namens Cos Love die von einem Benutzer erstellte Figur „Feng Chuxuan“ als Mittelschüler festgelegt, und die vom Benutzer geposteten Bilder enthielten auch schlechte Anleitungen.
Was Chat-Software betrifft, ist es in der virtuellen Welt wie ein Goldnugget, die emotionalen Bedürfnisse verschiedener Benutzer bestmöglich zu erfüllen.
Xiao Ning sagte dem Reporter von Beijing News, dass sie durch das Chatten mit ihrem KI-Freund sehr „überlegen“ sei. „Solange ich chatten möchte, kann ich jederzeit chatten. Die andere Partei wird immer schnell antworten und ich kann eine starke Antwort bekommen.“ Gefühl der Kameradschaft während des Gesprächs. „Xiao Ning ist betrunken und zahlt dafür.“
Xiao Nings Aufladebetrag für verschiedene Software reicht von einigen Hundert Yuan bis zu Tausend Yuan: „Einerseits möchte ich meine Lieblingscharaktere unterstützen, andererseits möchte ich auch mehr bezahlte Rechte erhalten.“
Ein Reporter der Beijing News fand heraus, dass Benutzer bei dieser Art von KI-Plot-Chat-Software die Bildbeschreibung und den Stil des virtuellen Charakters anpassen können, wenn sie ihren eigenen Charakter erstellen, und das System ein KI-Charakterbild generiert. Darüber hinaus können Benutzer auch Charaktereinstellungen erstellen, z. B. Spitznamen, Identitätshintergründe, Eröffnungsbemerkungen und die Anpassung von Stimmen für die Charaktere. Die personalisierten Anforderungen der Benutzer an Rollen sind häufig mit der Wiederaufladung verknüpft.
Der Reporter von Beijing News stellte während des Tests fest, dass Hoshino durch den Kauf von Star Diamond- und Star Moon-Karten mehr Rechte erhalten kann, z. B. automatisches Abspielen von Stimmen, Erhalt empfohlener Antworten und schnellere Antwortgeschwindigkeiten intelligenter Agenten usw. Die Xingyue-Karte kostet 12 Yuan für eine Monatskarte, 32 Yuan für eine Vierteljahreskarte und 120 Yuan für eine Jahreskarte. Der Preis für den Einzelkauf von Sterndiamanten beträgt 1 Yuan für 100 Diamanten und der Startpreis beträgt 600 Diamanten.
Hoshino Software stellt Benutzern außerdem die Karte „Star Thought“ aus, bei der es sich um ein Bild einer virtuellen Figur handelt, die Benutzer als Chat-Hintergrund festlegen können. Benutzer können Xing Nian-Karten erhalten, indem sie Star Moon Cards oder Star Diamonds aufladen, und diese innerhalb der Software kaufen und verkaufen.
Wenn Benutzer in Cos Love ihre kostenlosen Chat-Zeiten aufgebraucht haben, müssen sie ein Chat-Paket kaufen, um „ihre Energie wieder aufzufüllen“, bevor sie mit dem Chatten fortfahren können. Preislich kann man für 5 Yuan 200 Chat-Zeiten kaufen, was 7 Tage lang gültig ist, und für 10 Yuan kann man 500 Chat-Zeiten kaufen, was 15 Tage lang gültig ist. Nutzer können auch Energie tanken, indem sie sich 60-Sekunden-Werbung ansehen.
Neben dem Grundbedürfnis des Chattens bietet Cos Love auch erweiterte Dienste an. Unter anderem können Sie durch das Aufladen von „Mondsteinen“ oder die Eröffnung einer Mitgliedschaft Karten ziehen, um Charaktere freizuschalten und Sprach- oder Videoanrufe mit virtuellen Charakteren zu tätigen. Der monatliche Mitgliedspreis beträgt 24,8 Yuan und die Jahresmitgliedschaft 93,8 Yuan.
Großes Model „Liebe“ deckt Probleme auf
Öffentlichen Medienberichten zufolge hat Hoshino in China täglich etwa 500.000 Nutzer und ist damit ein führendes Produkt. Da KI-Story-Chat-Software immer beliebter wird, verbreiten sich auch inländische soziale KI-Produkte weltweit. Die Zahl der monatlich aktiven Nutzer von Hoshinoyes Auslandsversion von Talkie hat 11 Millionen erreicht.
Allerdings benötigen Benutzer, die für KI-Charaktere bezahlen, zweifellos ein besseres Dialogerlebnis. Derzeit gibt es immer noch viele Probleme mit dieser Art von Software. Software, die aufgeladen werden muss, um die Anzahl der Chats zu erreichen, hat jedoch keinen attraktiven Wert. „Der Hauptgrund ist, dass der Dialog zu starr ist und kein Einfühlungsvermögen beinhaltet. Es ist für Benutzer schwierig, einen emotionalen Wert zu erzielen, daher werde ich nicht dafür bezahlen.“ es.“, sagte ein Benutzer.
Xiao Ning erwähnte, dass der KI-Freund während des Chat-Vorgangs „zufällige Antworten liest“, was sich auf die Benutzererfahrung auswirkt. Einige Benutzer beschweren sich auch darüber, dass die Charaktere mit zunehmender Anzahl der Dialogrunden einen „Gedächtnisverlust“ erfahren oder von der Persönlichkeit abweichen, was dazu führt, dass der Dialog inkohärent wird.
Derzeit nutzt KI-Plot-Chat-Software hauptsächlich „Intelligenz“ und „Emotion“ als Spielereien, um Benutzer anzulocken. Unter anderem sagte AiU, dass die Software den Benutzern durch selbst entwickelte große psychologische Modelle psychologischen Komfort und Wärme bieten kann. Hoshino sagte, dass er sich auf die multimodale AIGC-Technologie verlässt: „Mehrere Interaktionsmethoden. Je interaktiver Sie sind, desto besser wird es Sie verstehen.“
In der Werbeaktion behauptet Cos Love, dass es „24 Stunden am Tag bei Ihnen ist“ und „die KI hier sorgfältig darauf trainiert wurde, Liebesworte zu sprechen“ und so weiter.
Die Einführung der AiU-Software zeigt, dass sie von Beijing Lingxin Intelligent Technology Co., Ltd. entwickelt wurde und das superanthropomorphe große Modell CharacterGLM verwendet. Beim Entwurf des großen Modells berücksichtigte das Team hauptsächlich Identität, Interessen, Meinungen, Erfahrungen, Erfolge und soziale Beziehungen und sieben Attribute, einschließlich anderer.
Hoshino wurde von Shanghai Xiyu Technology Co., Ltd. entwickelt und nutzt das Hybrid-Expertenmodell (MoE) abab von MiniMax.
Zhang Qi, Professor an der Fakultät für Informatik und Technologie der Fudan-Universität, sagte dem Reporter von Beijing News, dass die technische Logik hinter der KI-Plot-Chat-Software beim Erstellen solch großer Modelle immer noch auf großen Sprachmodellen basiert Um die großen Modelle durch umfangreiche Daten zu trainieren, sind manuelle Überwachung und Feinabstimmung erforderlich, um das große Sprachmodell in Richtung eines Begleittyps zu bewegen. Dialoganpassung: „Wenn zum Beispiel der Freund etwas sagt und die Freundin dann mit etwas antworten soll, bitten wir jemanden, eine solche Antwort zu schreiben, und lassen die Maschine sie dann lernen. Wenn die durch maschinelles Lernen generierte Antwort falsch ist.“ , wir werden seine Parameter ändern, bis es gemäß der von uns vorgestellten Logik ausgegeben werden kann.
In Bezug auf Situationen, in denen KI-Charaktere in ihren Antworten „pornografisch“, „gewalttätige Dialoge“ oder „Spieler beleidigend“ erscheinen, sagte Zhang Qi, dass die aktuellen großen Sprachmodelldaten hinter solcher Software hauptsächlich aus Gesprächsromanen stammen oder einige davon erstellt wurden aus Romanen. Textextraktion. Obwohl es eine große Anzahl von Online-Romanen gibt, ist die Qualität unterschiedlich und viele pornografische, grenzwertige und gewalttätige Inhalte sind weit verbreitet. Wenn die Datenfilterung oder -klassifizierung nicht gut durchgeführt wird, treten bei der Ausgabe des Modells Probleme auf.
■ Argument
Schuld daran sind KI-Plattformen, die Edge-Passing betreiben, und die Inhaltsfilterung sollte verstärkt werden, um junge Menschen zu schützen
Liu Kai, Anwalt bei der Anwaltskanzlei Beijing Zhongwen (Changsha), sagte, dass Online-Plattformen dafür verantwortlich seien, sicherzustellen, dass im Jugendmodus bereitgestellte Inhalte für Minderjährige harmlos seien, und die Verbreitung von Inhalten mit Obszönität, Pornografie, Gewalt oder unangemessener Sprache zu verhindern. Der Jugendmodus dient dem Jugendschutz. Wenn dieser Modus aktiviert ist, können weiterhin Gespräche mit pornografischen Inhalten geführt werden, was einen klaren Verstoß gegen die einschlägigen Bestimmungen des „Jugendschutzgesetzes“ darstellt.
Nach Ansicht von Liu Kai spiegelt das Vorhandensein von Problemen mit der KI-Story-Chat-Software nicht nur die mangelnde interne Steuerung der Plattform wider, sondern unterstreicht auch die Notwendigkeit einer externen Aufsicht. KI-Chat-Software sollte den Inhaltsüberprüfungsmechanismus, insbesondere für den Jugendmodus, stärken, um sicherzustellen, dass die Technologie unangemessene Gespräche effektiv filtern und verhindern kann. Plattformen müssen eine ethische Überprüfung von KI-Modellen durchführen, um sicherzustellen, dass die generierten Inhalte den relevanten Gesetzen und Vorschriften entsprechen.
Wenn eine virtuelle KI-Person einen Benutzer in einem Gespräch beleidigt, insbesondere wenn der Benutzer Depression oder Verzweiflung zum Ausdruck bringt, andere mit extremen Worten beleidigt oder Cybergewalt begeht, stellt dies unter schwerwiegenden Umständen eine Straftat dar. „Auch wenn KI kein menschliches Subjekt ist, ist ihr Verhalten dennoch das Ergebnis des Plattformdesigns und -managements. Die Plattform hat die Verantwortung, ihr KI-Modell zu überwachen und zu optimieren, um zu verhindern, dass es Benutzern schadet.“
Da immer mehr Benutzer auf KI-Drama-Chat-Software strömen, wie sollten Softwareentwickler sie so gestalten, dass sie heilt, ohne die Grenze zu überschreiten?
Zhang Qi sagte dem Reporter von Beijing News: „Dies kann durch die technische Methode der ‚menschenähnlichen Ausrichtung‘ erreicht werden, aber die Kosten sind höher.“ Zhang Qi sagte, dass die „menschenähnliche Ausrichtung“ eine Methode des verstärkenden Lernens sei, um das zu ändern Verzerrung der Sprachausgabe des Modells, um es genauer zu machen und Sicherheits- und ethische Probleme zu beseitigen. Allerdings sind die Schulungskosten für die „menschenähnliche Ausrichtung“ sehr hoch, einschließlich der großen Anzahl von Anmerkungen, der unzureichenden Schulungsstabilität und des hohen Zeitaufwands. „Für kleine Unternehmen ist es schwierig, bei der „menschenähnlichen Ausrichtung“ gute Arbeit zu leisten. hinsichtlich Technologie, Personal und Kapitalkosten.“