Während der diesjährigen Nationalfeiertage erschienen auf Douyin, Bilibili und anderen Plattformen zahlreiche Parodievideos über „Lei Jun AI Dubbing“, was Lei Jun selbst und Xiaomi großen Ärger bereitete.
In diesen Parodievideos machte „Lei Jun“ scharfe Kommentare zu aktuellen Themen wie Staus und Feiertagen sowie einigen unanständigen Beschimpfungen. Einige kurze Parodie-Videos erreichen innerhalb weniger Tage Hunderte Millionen Aufrufe. Als Reaktion darauf veröffentlichte Lei Jun selbst Ende Oktober ein kurzes Video, in dem er sagte, er hoffe, dass alle aufhören würden zu spielen: „Einige Internetnutzer haben sich darüber beschwert, dass ich während des Nationalfeiertags sieben Tage hintereinander beschimpft wurde, was mich wirklich störte und machte.“ Mir ist das sehr unangenehm. Ja, das ist keine gute Sache.“
Als Gao Ting, Vizepräsident für Forschung bei Gartner, über den oben genannten Vorfall sprach, sagte er gegenüber Jiemian News, dass falsche Informationen im Wesentlichen immer noch gefälschte Informationen seien, ihr Schaden jedoch im Zeitalter großer Modelle noch größer geworden sei.
Laut einem Informationssicherheitsexperten gibt es immer mehr gefälschte Videos von „Lei Juns KI-Synchronisation“, hauptsächlich weil ein externes KI-Unternehmen seine Funktion zum Klonen von Stimmen bewirbt. Diese Art von Meme ist in der Öffentlichkeit als KI-Imitation bekannt und es besteht kaum ein Risiko, falsche Informationen zu verbreiten. Die Schwierigkeit bei der Plattform-Governance besteht darin, dass es unmöglich ist, festzustellen, ob Prominente gegen ein solches Trolling durch Internetnutzer sind oder ob sie sich über die Ergebnisse für Marketingzwecke freuen. Für die Plattform ist es schwierig, vor den Parteien eine klare Governance-Strategie zu formulieren ihre Zustimmung oder ihren Einwand zum Ausdruck bringen.
Im Gegensatz dazu verursachen nachrichtenbasierte KI-Gerüchte oft größeren sozialen Schaden. Eine Suche auf Jiemian News ergab, dass es in diesem Jahr viele Male zu ähnlichen Vorfällen kam.
Kürzlich wurde auf öffentlichen WeChat-Konten ein Artikel mit der Überschrift „Eine Tante aus Shandong wurde zu einer Geldstrafe von 160.000 RMB verurteilt, weil sie Obst an einem Stand verkaufte. Die Aufsichtsbehörde antwortete, dass sie eine Geldstrafe von 1,45 Millionen RMB nicht gezahlt hatte, verbreitet.“ und anderen Plattformen und löste auch viele Debatten unter Internetnutzern aus. Nach Überprüfung durch die zuständigen Abteilungen wurde dieser Artikel jedoch von einem MCN-Unternehmen in Changsha erstellt, um das Lesevolumen des öffentlichen Kontos und den Umsatz des Unternehmens zu steigern und mithilfe von KI-generierten Inhalten Aufmerksamkeit zu erregen. Zuvor hatten mehrere Kurzvideoplattformen auch KI verwendet, um Nachrichten wie „Erdbeben“ und „Überfall auf einen Geldtransporter“ zu fabrizieren. Diese Inhalte lösten bei Internetnutzern, die die Wahrheit nicht kannten, ein gewisses Maß an Panik aus.
In Bezug auf Fake News, die durch generative KI hervorgerufen werden, haben verschiedene Content-Plattformen deutlich gemacht, dass sie hart durchgreifen werden. Der zuständige Verantwortliche des Douyin Security Center sagte, dass die Plattform mit falschen Informationen streng umgehen werde, sobald sie entdeckt würden, unabhängig davon, ob sie durch KI generiert wurden oder nicht. Gleichzeitig verlangt Douyin bei KI-generierten Inhalten von den Herausgebern, die Inhalte deutlich zu kennzeichnen, um anderen Nutzern dabei zu helfen, Virtualität von der Realität zu unterscheiden, insbesondere in verwirrenden Szenen.
Laut Jiemian News liegt die Schwierigkeit bei der Kontrolle von durch KI generierten gefälschten Nachrichten jedoch in den hohen Kosten für die Überprüfung. In vielen Fällen ist es für die Plattform schwierig, die Authentizität der Informationen selbst zu beurteilen eingreifen, aber die relevanten Informationen werden während des Überprüfungsprozesses nicht überprüft. Sie haben sich schnell verbreitet.
Zusätzlich zu den negativen Auswirkungen, die falsche Informationen auf den Ruf des Unternehmens und die normale Ordnung des sozialen Lebens haben, haben sie auch Auswirkungen auf die Netzwerksicherheit des Unternehmens, beispielsweise durch „Phishing“ oder „Kontoübernahme“. Zuvor gab es in der Branche einen Vorfall, bei dem Betrüger mithilfe von KI-Technologie die Stimme des CEO eines Energieunternehmens nachahmten und die Führungskräfte des Unternehmens um Millionen von Dollar betrogen. Die von der KI erzeugte Klangfarbe, der Ton und der Akzent waren so lebensecht, dass die Führungskraft nicht erkannte, dass es sich um einen Betrug handelte.
Gao Ting sagte, dass generative KI zu zerstörerischeren und realistischeren Angriffen geführt habe, die für Menschen schwieriger zu erkennen seien und von traditionellen Technologien blockiert würden, und dass sie den Unternehmen größere Verluste bescheren werde.
Die Kosten für die Erstellung falscher Informationen werden immer geringer, aber die negativen Auswirkungen werden immer deutlicher. Es ist schwierig, das Problem allein durch herkömmliche manuelle Überprüfungsmethoden vollständig zu lösen. Die oben genannten technischen Sicherheitsexperten sagten, dass wir mehr neue Technologien brauchen, um das Problem des Falschinformationsmanagements zu lösen. Manche Menschen nutzen technische Mittel, um falsche Informationen zu erstellen. Experten für technische Sicherheit sollten in der Lage sein, die Merkmale dieser falschen Informationen zu identifizieren, sie mit technischen Mitteln zu bekämpfen und das Problem wirklich von der Quelle her zu lösen.
Auf dem Gebiet der Informationssicherheit haben viele technische Experten einen vorläufigen Konsens über die Verwaltung falscher Informationen erzielt und betrachten „falsche Informationssicherheit“ als eine neue technische Forschungsrichtung.
Konkret umfasst „Desinformationssicherheit“ eine Reihe von Technologien, die die Integrität gewährleisten, die Authentizität beurteilen und Identitätsdiebstahl sowie die Verfolgung der Verbreitung schädlicher Informationen bei der Verbreitung von Informationen verhindern können. Das Prinzip dahinter besteht darin, große Sprachmodelle zu verwenden, um Inhalte in sozialen Medien zu verfolgen, die Integrität der Echtzeitkommunikation zu überprüfen, die Authentizität von Medien Dritter sicherzustellen usw.
Gartner listet „falsche Informationssicherheit“ als einen der wichtigsten Technologietrends unter den zehn wichtigsten strategischen Technologietrends, die für 2025 prognostiziert werden. Die Agentur geht davon aus, dass die Technologie zur „falschen Informationssicherheit“ in den nächsten ein bis drei Jahren erhebliche kommerzielle Vorteile bringen wird.
Aus Sicht der Forschungspraxis haben sich einige Technologien als wirksam erwiesen. Eine Studie der University of California zeigt, dass kontextbezogene Tags, die Benutzern Details wie Kontext, Erklärungen zu Fehlern und relevante maßgebliche Inhalte liefern, dazu beitragen können, die Verbreitung falscher Inhalte zu reduzieren. Überseeische Content-Plattformen wie Facebook und X nutzen künstliche Intelligenz und andere technische Mittel, um ihre Systeme darauf zu trainieren, riesige Informationsmengen automatisch zu erkennen und zu kennzeichnen, um die Einschränkungen der manuellen Überprüfung zu überwinden. Diese Studien und Praktiken haben auch eine starke Referenzbedeutung für inländische Content-Plattformen.
Auf Probleme wie Phishing-Betrügereien, die durch generative KI verursacht werden, können Unternehmen und Organisationen mit einem vollständigen Satz technischer Lösungen reagieren. Jiemian News erfuhr, dass viele inländische Internetunternehmen wie 360 und Ant Financial bereits Lösungen entwickeln, die auf großen Modellen basieren und versuchen, durch Datenzugriff und -analyse, Analyse und Beurteilung sowie Rückverfolgbarkeitsuntersuchungen mehr Risiken zu identifizieren.