Kürzlich haben Forscher der Stanford University und der University of Hong Kong ein Papier veröffentlicht, in dem eine große Sicherheitsanfälligkeit in aktuellen AI-Agenten wie Claude aufdeckt wurde: Sie sind äußerst anfällig für Pop-up-Angriffe. Untersuchungen haben ergeben, dass ein einfaches Pop-up-Fenster die Abschlussrate des AI-Agenten erheblich verringern und sogar dazu führen kann, dass die Aufgabe vollständig ausfällt. Dies hat Bedenken hinsichtlich Sicherheitsprobleme in praktischen Anwendungen von AI -Agenten ausgelöst, insbesondere wenn sie mehr Autonomie erhalten.
In jüngster Zeit haben Forscher der Stanford University und der University of Hong Kong festgestellt, dass aktuelle AI-Agenten (wie Claude) anfälliger für Pop-ups als Menschen sind, und selbst ihre Leistung hat sich bei einfachen Pop-ups erheblich gesunken.
Laut Research, wenn AI Agent in einer experimentellen Umgebung ein entworfenes Popup-Fenster ausgesetzt ist, erreicht die durchschnittliche Erfolgsquote von Angriff um 86%und verringert die Erfolgsquote der Aufgaben um 47%. Diese Entdeckung hat neue Bedenken hinsichtlich der Sicherheit von KI -Agenten ausgelöst, insbesondere wenn sie mehr auf die autonome Aufgaben erfüllt werden können.
In dieser Studie haben Wissenschaftler eine Reihe von kontroversen Pop-ups entwickelt, um die Reaktionsfähigkeit des KI-Agenten zu testen. Untersuchungen zeigen, dass KI-Agenten, obwohl Menschen diese Pop-ups identifizieren und ignorieren können, häufig versucht sind, auf diese böswilligen Pop-ups zu klicken, was dazu führt, dass sie ihre ursprünglichen Aufgaben nicht erledigen. Dieses Phänomen wirkt sich nicht nur auf die Leistung des AI-Agenten aus, sondern kann auch Sicherheitsrisiken in realen Anwendungen mit sich bringen.
Das Forschungsteam verwendete die beiden Testplattformen Osworld und Visualwebarena, injizierte entworfene Pop-ups und beobachtete das Verhalten des AI-Agenten. Sie fanden heraus, dass alle am Test beteiligten KI -Modelle anfällig waren. Um die Auswirkung des Angriffs zu bewerten, zeigten die Forscher die Häufigkeit des Agenten-Klickfensters und dessen Aufgabe ab.
Die Studie untersucht auch die Auswirkungen des Pop-up-Fensterdesigns auf die Erfolgsrate für die Angriffsquote. Durch die Verwendung von überzeugenden Elementen und spezifischen Anweisungen stellten die Forscher einen signifikanten Anstieg der Angriffserfolgsquoten fest. Obwohl sie versuchten, dem Angriff zu widerstehen, indem sie den AI-Agenten dazu veranlassten, Pop-ups zu ignorieren oder AD-Logos hinzuzufügen, waren die Ergebnisse nicht ideal. Dies zeigt, dass der aktuelle Abwehrmechanismus für den AI -Agenten immer noch sehr zerbrechlich ist.
Die Schlussfolgerungen der Studie unterstreichen die Notwendigkeit fortschrittlicherer Abwehrmechanismen im Bereich Automatisierung, um die Widerstandsfähigkeit von AI -Agenten gegen Malware und irreführende Angriffe zu verbessern. Forscher empfehlen, die Sicherheit von KI -Agenten durch detailliertere Anweisungen zu verbessern, die Fähigkeit zu verbessern, böswillige Inhalte zu identifizieren und die menschliche Überwachung einzuführen.
Papier:
https://arxiv.org/abs/2411.02391
Github:
https://github.com/salt-nlp/popupattack
Schlüsselpunkte:
Die Angriffserfolgsrate des AI-Agenten bei Pop-ups ist bis zu 86%, was niedriger ist als die des Menschen.
Untersuchungen haben ergeben, dass die aktuellen Verteidigungsmaßnahmen für den AI -Agenten nahezu unwirksam sind und die Sicherheit dringend verbessert werden muss.
Die Forschung schlägt Verteidigungsvorschläge wie die Verbesserung der Fähigkeit von Agenten vor, böswillige Inhalte und menschliche Aufsicht zu identifizieren.
Die Forschungsergebnisse stellen die Sicherheit des KI-Agenten vor strenge Herausforderungen und weisen auch die Richtung für zukünftige KI-Sicherheitsforschung auf dass es sicher und zuverlässig funktioniert. Die Nachuntersuchung sollte sich darauf konzentrieren, wie die Fähigkeit des KI-Agenten, böswillige Inhalte zu identifizieren, zu verbessern und die manuelle Überwachung effektiv zu kombinieren.