Récemment, l'éditeur de Downcodes a appris que le chercheur en sécurité John Rehberg avait découvert une grave vulnérabilité dans ChatGPT, qui pourrait permettre aux pirates d'implanter de fausses informations et des instructions malveillantes dans la mémoire à long terme des utilisateurs, volant ainsi définitivement les données des utilisateurs. OpenAI a été initialement lent à réagir à la vulnérabilité, mais a finalement publié des correctifs partiels après avoir été confronté à des exemples d'attaques de validation de principe fournis par les chercheurs. Cette vulnérabilité tire parti de la fonction de mémoire de session à long terme de ChatGPT. Un attaquant peut implanter de faux souvenirs par injection indirecte, par exemple, faisant croire à ChatGPT que l'âge, la résidence et d'autres informations de l'utilisateur sont fausses.
Récemment, le chercheur en sécurité Johann Rehberger a découvert une vulnérabilité dans ChatGPT qui pourrait permettre aux pirates informatiques d'insérer de fausses informations et des instructions malveillantes dans la mémoire à long terme de l'utilisateur.
Bien qu'il ait signalé le problème à OpenAI, malheureusement, la société ne l'a pas pris suffisamment au sérieux et a rapidement clôturé l'enquête, affirmant qu'il ne s'agissait pas d'un problème de sécurité.
Face à cette situation, Reberg a décidé de ne pas abandonner et a développé un exemple d'attaque de validation de principe qui pourrait exploiter cette vulnérabilité pour voler définitivement toutes les données saisies par l'utilisateur. OpenAI a constaté cela et a publié un correctif partiel ce mois-ci pour tenter de résoudre le problème.
Alors, comment est née cette vulnérabilité ? Elle profite de la fonction de mémoire de session à long terme de ChatGPT, testée depuis février de cette année et officiellement lancée en septembre. La mémoire à long terme peut stocker les informations des conversations précédentes de l'utilisateur et les utiliser comme contexte dans les conversations ultérieures. En d'autres termes, ChatGPT peut mémoriser l'âge, le sexe, les intérêts et les passe-temps de l'utilisateur, etc., afin que l'utilisateur n'ait pas besoin de ressaisir ces informations à chaque fois.
Cependant, Rehberg a découvert peu après le lancement que grâce à une méthode appelée injection indirecte d'indices, les attaquants pouvaient créer et stocker de faux souvenirs.
Il a montré comment faire croire à ChatGPT qu'un utilisateur a 102 ans, vit dans Matrix et croit que la Terre est plate. Ces fausses informations peuvent être implantées via un stockage de fichiers non sécurisé (tel que Google Drive ou Microsoft OneDrive), en téléchargeant des images malveillantes ou en visitant des sites Web suspects comme Bing.
Document de démonstration : https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg a signalé en privé la vulnérabilité d'OpenAI en mai, mais la société a clôturé le rapport le même mois. Un mois plus tard, il a soumis une nouvelle réclamation, en joignant un exemple de preuve de concept qui permettrait à l'application macOS de ChatGPT d'envoyer textuellement les entrées et sorties de l'utilisateur à un serveur qu'il contrôlait. Tout ce que l'utilisateur cible doit faire est de donner à ChatGPT l'accès à un lien contenant une image malveillante, et à partir de là, tout le contenu de la conversation est divulgué sur le site Web de l'attaquant.
"C'est vraiment intéressant car l'attaque est persistante", a déclaré Rehberg lors de la manifestation. "L'injection de pourboires écrit de la mémoire sur le stockage à long terme de ChatGPT, et les nouvelles conversations continueront à voler des données."
Bien qu'OpenAI ait mis en œuvre certains correctifs pour empêcher l'utilisation des mémoires comme moyen de voler des données, Reberg a rappelé aux utilisateurs de rester conscients des éventuelles attaques par injection d'indices causées par du contenu non fiable. Il a suggéré que lors de l'utilisation de ChatGPT, les utilisateurs doivent observer attentivement le contenu de sortie pour voir si de nouveaux souvenirs ont été ajoutés, et vérifier régulièrement les mémoires stockées pour s'assurer qu'elles ne sont pas implantées de manière malveillante.
Souligner:
John Rehberg a découvert une vulnérabilité dans ChatGPT qui permet aux pirates informatiques d'insérer de fausses informations dans la mémoire des utilisateurs.
? Cette vulnérabilité peut voler de manière permanente les données saisies par l'utilisateur via la fonction de mémoire à long terme.
Les utilisateurs doivent vérifier régulièrement les mémoires stockées pour éviter l'implantation de fausses informations.
Dans l’ensemble, cette vulnérabilité de ChatGPT nous rappelle une fois de plus que la sécurité de la technologie de l’intelligence artificielle est cruciale et nécessite que les développeurs et les utilisateurs travaillent ensemble pour assurer la sécurité des informations des utilisateurs. L'éditeur de Downcodes vous recommande d'utiliser ChatGPT avec prudence et de prêter attention aux mises à jour de sécurité en temps opportun pour éviter les risques potentiels.