Kürzlich erfuhr der Herausgeber von Downcodes, dass der Sicherheitsforscher John Rehberg eine schwerwiegende Schwachstelle in ChatGPT entdeckt hat, die es Hackern ermöglichen könnte, falsche Informationen und böswillige Anweisungen in das Langzeitgedächtnis der Benutzer einzuschleusen und so Benutzerdaten dauerhaft zu stehlen. OpenAI reagierte zunächst langsam auf die Schwachstelle, veröffentlichte jedoch schließlich Teilkorrekturen, nachdem es von Forschern mit Proof-of-Concept-Angriffsbeispielen konfrontiert wurde. Diese Schwachstelle nutzt die Langzeit-Sitzungsspeicherfunktion von ChatGPT aus. Ein Angreifer kann durch indirekte Prompt-Injection falsche Erinnerungen implantieren und ChatGPT glauben machen, dass das Alter, der Wohnort und andere Informationen des Benutzers falsch sind.
Kürzlich entdeckte der Sicherheitsforscher Johann Rehberger eine Schwachstelle in ChatGPT, die es Hackern ermöglichen könnte, falsche Informationen und bösartige Anweisungen in das Langzeitgedächtnis des Benutzers einzuschleusen.
Obwohl er das Problem OpenAI meldete, nahm das Unternehmen es leider nicht ernst genug und schloss die Untersuchung schnell mit der Begründung ab, es handele sich nicht um ein Sicherheitsproblem.
Angesichts dieser Situation beschloss Reberg, nicht aufzugeben und entwickelte ein Proof-of-Concept-Angriffsbeispiel, das diese Schwachstelle ausnutzen könnte, um alle Benutzereingabedaten dauerhaft zu stehlen. OpenAI hat dies erkannt und diesen Monat einen teilweisen Fix veröffentlicht, um das Problem zu beheben.
Wie ist diese Sicherheitslücke entstanden? Sie nutzt die Langzeit-Sitzungsspeicherfunktion von ChatGPT aus, die seit Februar dieses Jahres getestet und im September offiziell eingeführt wurde. Das Langzeitgedächtnis kann Informationen aus früheren Gesprächen des Benutzers speichern und sie als Kontext für nachfolgende Gespräche verwenden. Mit anderen Worten: ChatGPT kann sich Alter, Geschlecht, Interessen und Hobbys usw. des Benutzers merken, sodass der Benutzer diese Informationen nicht jedes Mal erneut eingeben muss.
Rehberg entdeckte jedoch kurz nach der Einführung, dass Angreifer durch eine Methode namens Indirect Hint Injection falsche Erinnerungen erstellen und speichern konnten.
Er zeigte, wie man ChatGPT dazu verleitet, zu glauben, dass ein Benutzer 102 Jahre alt ist, in der Matrix lebt und glaubt, die Erde sei flach. Diese falschen Informationen können durch ungesicherten Dateispeicher (wie Google Drive oder Microsoft OneDrive), das Hochladen schädlicher Bilder oder den Besuch verdächtiger Websites wie Bing eingeschleust werden.
Demodokument: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg meldete die Schwachstelle im Mai privat gegenüber OpenAI, das Unternehmen schloss die Meldung jedoch noch im selben Monat. Einen Monat später reichte er einen neuen Anspruch ein und fügte ein Proof-of-Concept-Beispiel bei, das es der macOS-Anwendung von ChatGPT ermöglichen würde, wörtliche Benutzereingaben und -ausgaben an einen von ihm kontrollierten Server zu senden. Der Zielbenutzer muss lediglich ChatGPT Zugriff auf einen Link gewähren, der ein schädliches Bild enthält, und von da an werden alle Konversationsinhalte an die Website des Angreifers weitergegeben.
„Das ist wirklich interessant, weil der Angriff hartnäckig ist“, sagte Rehberg während der Demonstration. „Tip-Injection schreibt Speicher in den Langzeitspeicher von ChatGPT und neue Gespräche werden weiterhin Daten stehlen.“
Obwohl OpenAI einige Korrekturen implementiert hat, um zu verhindern, dass Speicher zum Datendiebstahl missbraucht werden, erinnerte Reberg die Benutzer daran, sich dennoch möglicher Hint-Injection-Angriffe bewusst zu sein, die durch nicht vertrauenswürdige Inhalte verursacht werden. Er schlug vor, dass Benutzer bei der Verwendung von ChatGPT den Ausgabeinhalt sorgfältig beobachten sollten, um zu sehen, ob neue Erinnerungen hinzugefügt wurden, und die gespeicherten Erinnerungen regelmäßig überprüfen sollten, um sicherzustellen, dass sie nicht böswillig implantiert wurden.
Highlight:
John Rehberg entdeckte eine Schwachstelle in ChatGPT, die es Hackern ermöglicht, falsche Informationen in die Erinnerungen der Benutzer einzuschleusen.
?Diese Schwachstelle kann durch die Langzeitgedächtnisfunktion dauerhaft Benutzereingabedaten stehlen.
Benutzer müssen gespeicherte Erinnerungen regelmäßig überprüfen, um das Einschleusen falscher Informationen zu verhindern.
Alles in allem erinnert uns diese Schwachstelle in ChatGPT einmal mehr daran, dass die Sicherheit der Technologie der künstlichen Intelligenz von entscheidender Bedeutung ist und Entwickler und Benutzer zusammenarbeiten müssen, um die Sicherheit der Benutzerinformationen zu gewährleisten. Der Herausgeber von Downcodes empfiehlt, ChatGPT mit Vorsicht zu nutzen und rechtzeitig auf Sicherheitsupdates zu achten, um potenzielle Risiken zu vermeiden.