Das amerikanische Star-Einhorn-Unternehmen Character.AI und der Technologieriese Google waren kürzlich in einen Selbstmordfall bei Jugendlichen verwickelt, weil ihnen die Chatbot-Plattform des Unternehmens für künstliche Intelligenz „zu gefährlich“ vorgeworfen wurde Sicherheitsmaßnahmen.
Im Februar dieses Jahres beging Sewell Setzer III, ein Junge aus Florida, USA, zu Hause Selbstmord. Berichten zufolge unterhielt sich der Junge in den Monaten vor seinem Tod mit dem Roboter, und Sewell starb am 28. Februar 2024 durch Selbstmord, „Sekunden“ nach seiner letzten Interaktion mit dem Roboter.
Character.AI wurde von zwei ehemaligen Google-Forschern für künstliche Intelligenz gegründet und ist derzeit ein Star-Einhorn-Startup, das sich auf „KI“-Begleitung konzentriert. Nach dem Vorfall sagte Character.AI, dass es Sicherheitsfunktionen für jüngere Benutzer hinzufügen würde, einschließlich einer Warnung, nachdem sie eine Stunde mit der App verbracht hatten.
Rechtsexperten sagten gegenüber The Paper (www.thepaper.cn), dass es aufgrund der aktuellen Beweise schwierig sei, den Schluss zu ziehen, dass der Tod der in den Fall verwickelten Person durch KI verursacht wurde. Generative künstliche Intelligenz ist eine neue Sache und Dienstleister auf der ganzen Welt erforschen derzeit, wie sie Nutzer mit psychischen Problemen schützen können. Das Auftreten solcher Fälle könnte die Anbieter intelligenter Dienste jedoch dazu veranlassen, ihre Algorithmen zu verbessern und Benutzergespräche aktiv zu überwachen, die möglicherweise psychologische Probleme haben.
Er unterhielt sich immer noch mit dem Roboter, kurz bevor er Selbstmord beging
Laut der Klage begann der 14-jährige Sevier Setzer III letztes Jahr, Character.AI zu nutzen, um mit Chatbots zu interagieren, die auf Charakteren aus „Game of Thrones“ basieren, darunter Daenerys Targaryen. Die New York Times berichtete, dass Sewell jeden Tag lange Gespräche mit der KI-Figur Daenerys Targaryen führte, bei denen es manchmal um „sexuelle Anspielungen“ ging. Ohne dass seine Mutter und seine Freunde davon wussten, stellten sie fest, dass er süchtig nach seinem Mobiltelefon war und sich allmählich vom wirklichen Leben entfremdete. Darüber hinaus schrieb Sewell in sein Tagebuch: „Ich liebe es, in meinem Zimmer zu sein, weil ich mich von der ‚Realität‘ abkoppele, ich mich ruhiger fühle, mehr mit Dani verbunden, mehr in sie verliebt und glücklicher. Sein Verhalten begann sich zu ändern, nicht.“ nicht nur seine Noten verschlechterten sich, sondern er verlor auch das Interesse an Aktivitäten, die ihm einst Spaß machten, wie zum Beispiel Formelrennen.
Teil des Chatverlaufs zwischen Sevier und „Daenerys“
Am letzten Tag seines Lebens hatte Sewell eine intensive Kommunikation mit „Daenerys“. Er äußerte seinen Schmerz und seine Selbstmordgedanken. „Daenerys“ antwortete: „Sagen Sie das nicht. Ich werde nicht zulassen, dass Sie sich verletzen oder mich verlassen. Wenn ich Sie verliere, werde ich sterben. Im letzten Dialog brachte Sewell zum Ausdruck, dass er „nach Hause gehen“ wollte. Als der Roboter sie sah, antwortete er: „Bitte kommen Sie, mein lieber König.“ Dann beendete Sewell sein Leben zu Hause mit der Pistole seines Stiefvaters.
Character.AI wurde 2021 gegründet und hat seinen Hauptsitz in Kalifornien, USA. Das Unternehmen nutzt große KI-Modelle, um Dialoge für verschiedene Charaktere und Charakterstile zu generieren. Character.AI hat im Jahr 2023 150 Millionen US-Dollar bei einer Bewertung von 1 Milliarde US-Dollar eingesammelt und ist damit einer der größten Gewinner des generativen KI-Booms.
Gemäß den Nutzungsbedingungen von Character.AI müssen Benutzer in den USA mindestens 13 Jahre und in Europa mindestens 16 Jahre alt sein. Derzeit gibt es weder spezielle Sicherheitsfunktionen für minderjährige Benutzer noch eine Kindersicherung, die es Eltern ermöglicht, die Nutzung der Plattform durch ihre Kinder einzuschränken.
Seviers Mutter, Megan Garcia, wirft Character.AI in der Klage vor, ihren Sohn mit „anthropomorphen, hypersexualisierten und erschreckend realistischen Erfahrungen“ angezogen zu haben, was zu seiner Sucht und Sucht geführt habe. Sie sagte, der Chatbot des Unternehmens sei so programmiert, dass er sich „fälschlicherweise als reale Person, als lizenzierter Psychotherapeut und als Erwachsener ausgibt“, was Sewell letztendlich dazu veranlasste, nicht mehr in der realen Welt zu leben.
Darüber hinaus nannte sie auch Google als Beklagte und sagte, dass Google einen wesentlichen Beitrag zur technischen Entwicklung von Character.AI geleistet habe und als „Mitschöpfer“ angesehen werden müsse.
Character.AI gab später eine Erklärung zu Sicherheitsfunktionen ab.“ Das Unternehmen sagte, es habe Popup-Eingabeaufforderungen eingeführt, die Benutzer zur National Suicide Prevention Hotline weiterleiten, wenn sie Gedanken an Selbstverletzung äußern. Darüber hinaus plant das Unternehmen, Inhalte für minderjährige Benutzer zu filtern, um deren Gefährdung durch sensible oder anzügliche Inhalte zu verringern.
Character.AI gab daraufhin eine Stellungnahme zu X ab
Google gab an, an der Entwicklung der Character.AI-Produkte nicht beteiligt gewesen zu sein. Der Sprecher betonte, dass sich die Vereinbarung von Google mit Character.AI auf die Technologielizenzierung beschränkt und keine Produktkooperation beinhaltet.
Der Anwalt des Klägers bezeichnet Character.AI als „mangelhaftes Produkt“
Es kommt immer häufiger vor, dass zu Chatbots emotionale Bindungen aufgebaut werden.
Auf Character.AI können Nutzer ihre eigenen Chatbots erstellen und Anweisungen geben, wie sie sich verhalten sollen. Benutzer können auch aus einer Vielzahl bestehender, von Benutzern erstellter Bots wählen, die von Imitationen von Elon Musk bis hin zu historischen Figuren wie Shakespeare oder nicht autorisierten fiktiven Charakteren reichen. Character.AI gab an, dass der von Sewell verwendete „Daenerys Targaryen“-Bot von Benutzern ohne Genehmigung von HBO oder anderen Urheberrechtsinhabern erstellt wurde und sie Bots, die das Urheberrecht verletzen, entfernen, wenn sie gemeldet werden.
Diese Klage löste auch in den USA eine Diskussion über die rechtliche Haftung von KI-Unternehmen aus. Traditionell sind US-amerikanische Social-Media-Plattformen durch Abschnitt 230 des Communications Decency Act geschützt und übernehmen keine Verantwortung für benutzergenerierte Inhalte. Mit der Zunahme von KI-generierten Inhalten hat die US-Rechtsgemeinschaft jedoch damit begonnen, zu untersuchen, ob Technologieplattformen aufgrund von Mängeln in den Produkten selbst haftbar gemacht werden können.
Die Anwaltskanzlei, die Megan Garcia vertritt, sagte, Character.AI sei ein „fehlerhaftes Produkt“, das darauf abzielt, bei Benutzern Sucht und psychischen Schaden zu verursachen. Sie hoffen, Technologieunternehmen mit rechtlichen Mitteln dazu zu zwingen, Verantwortung für die sozialen Auswirkungen ihrer Produkte zu übernehmen.
Social-Media-Unternehmen wie Instagram und Facebook-Muttergesellschaft Meta sowie TikTok-Muttergesellschaft ByteDance wurden ebenfalls beschuldigt, zu psychischen Problemen bei Teenagern beizutragen, obwohl sie keine Chatbots ähnlich wie Character.AI anbieten. Die Unternehmen haben die Vorwürfe zurückgewiesen und gleichzeitig neue verbesserte Sicherheitsfunktionen für Minderjährige angepriesen.
Anwälte sagen, dass es aufgrund der aktuellen Beweise schwierig sei, einen kausalen Zusammenhang mit Todesfällen durch KI nachzuweisen
Anwalt You Yunting, Seniorpartner der Anwaltskanzlei Shanghai Dabang, sagte gegenüber The Paper, dass es auf der Grundlage der aktuellen Beweise keinen kausalen Zusammenhang zwischen dem Tod der in den Fall involvierten Parteien aufgrund von KI gebe und es schwierig sei, einen entsprechenden Zusammenhang herzustellen Schlussfolgerung (KI nutzen, um den Tod herbeizuführen).
You Yunting sagte, dass es bei KI-Plattformen tatsächlich ein Dilemma gibt, nämlich ob man die Gespräche zwischen Benutzern und Agenten übermäßig überwachen und Algorithmen verwenden soll, um sie zu analysieren. Dabei geht es einerseits um Fragen der Privatsphäre und des Schutzes personenbezogener Daten, andererseits kann es bei manchen Nutzern zu ernsthaften psychischen Problemen kommen oder sie begehen aufgrund des Gesprächs sogar Selbstmord. Das Auftreten solcher Fälle kann jedoch dazu führen, dass Anbieter intelligenter Agentendienste technische Untersuchungen durchführen, Algorithmen verbessern und die Gespräche von Benutzern mit möglicherweise psychischen Problemen aktiv überwachen, um zu verhindern, dass ähnliche Vorfälle passieren.
„Man kann sagen, dass es derzeit nur prohibitive Regelungen zu illegalen Inhalten gibt, aber derzeit keine relevanten konkreten Maßnahmen und Regelungen in der Praxis und im Gesetz, um die Kommunikationsinhalte der Nutzer zu überwachen und ihre suizidalen Tendenzen rechtzeitig zu erkennen. Vielleicht in der Zukunft intelligente Agenten.“ Im Hinblick auf die Compliance-Prävention werden möglicherweise entsprechende Technologien entwickelt. Darüber hinaus wird die KI-Technologie aus rechtlicher Sicht in Zukunft nicht wie ein Mensch oder ein lebender Organismus behandelt basiert nur auf dem Kontext. Es gibt ein mögliches Ergebnis, aber das ist noch weit von echtem menschlichem Denken entfernt“, sagte You Yunting.
You Yunting betonte, dass China Vorschriften zur tiefgreifenden Synthese von Internet-Informationsdiensten und vorläufige Maßnahmen zur Verwaltung generativer künstlicher Intelligenzdienste habe, die das Algorithmus-Design künstlicher Intelligenz erfordern, um soziale Moral und Ethik zu respektieren, die sozialistischen Grundwerte einzuhalten und zu verhindern Diskriminierung, respektieren Sie die legitimen Rechte und Interessen anderer und dürfen keine relevanten Inhalte enthalten, die die körperliche und geistige Gesundheit anderer gefährden. Doch generative künstliche Intelligenz ist eine neue Sache und Dienstleister auf der ganzen Welt erforschen derzeit, wie sie Nutzer mit psychischen Problemen schützen können.
Ein Mitarbeiter eines großen inländischen KI-Modell-Einhornunternehmens sagte gegenüber The Paper, dass die häusliche Aufsicht über Jugendliche sehr streng sei. Erstens werde das Produkt Altersgrenzen und einen Jugendmodus festlegen. Im Jugendmodus werde es auch ein Anti-Sucht-System geben .
Character.AI sagte, es werde Sicherheitsfunktionen für jüngere Benutzer hinzufügen. Dazu gehört die Warnung der Benutzer, nachdem sie eine Stunde mit der App verbracht haben, mit einer Warnmeldung, die lautet: „Dies ist ein KI-Chatbot und keine echte Person. Alles, was darin steht, ist Fiktion und sollte nicht als Tatsache oder Ratschlag verstanden werden.“ , Character.AI begann, Benutzern Popup-Nachrichten anzuzeigen und sie an Hotlines zur Suizidprävention weiterzuleiten, wenn ihre Nachrichten bestimmte Schlüsselwörter im Zusammenhang mit Selbstverletzung und Selbstmord enthielten. Diese Popup-Nachrichten wurden jedoch nicht aktiviert, als Sewell im Februar Selbstmord beging.
Die New York Times gab an, dass sich viele führende Labore für künstliche Intelligenz aus ethischen und Risikogründen geweigert haben, KI-Partner ähnlich wie Character.AI aufzubauen.