Recientemente, el editor de Downcodes se enteró de que el investigador de seguridad John Rehberg descubrió una vulnerabilidad grave en ChatGPT, que puede permitir a los piratas informáticos implantar información falsa e instrucciones maliciosas en la memoria a largo plazo de los usuarios, robando así permanentemente datos de los usuarios. Inicialmente, OpenAI tardó en responder a la vulnerabilidad, pero finalmente lanzó correcciones parciales después de enfrentarse a ejemplos de ataques de prueba de concepto proporcionados por los investigadores. Esta vulnerabilidad aprovecha la función de memoria de sesión a largo plazo de ChatGPT. Un atacante puede implantar recuerdos falsos mediante inyección indirecta, por ejemplo, haciendo que ChatGPT crea que la edad, la residencia y otra información del usuario son falsas.
Recientemente, el investigador de seguridad Johann Rehberger descubrió una vulnerabilidad en ChatGPT que podría permitir a los piratas informáticos colocar información falsa e instrucciones maliciosas en la memoria a largo plazo del usuario.
Aunque informó del problema a OpenAI, lamentablemente la empresa no lo tomó lo suficientemente en serio y rápidamente cerró la investigación, alegando que no se trataba de un problema de seguridad.
Ante esta situación, Reberg decidió no darse por vencido y desarrolló un ejemplo de ataque de prueba de concepto que podría explotar esta vulnerabilidad para robar permanentemente todos los datos de entrada del usuario. OpenAI vio que esto sucedía y lanzó una solución parcial este mes en un intento de resolver el problema.
Entonces, ¿cómo surgió esta vulnerabilidad? Aprovecha la función de memoria de sesión a largo plazo de ChatGPT, que se ha probado desde febrero de este año y se lanzó oficialmente en septiembre. La memoria a largo plazo puede almacenar información de conversaciones anteriores del usuario y utilizarla como contexto en conversaciones posteriores. En otras palabras, ChatGPT puede recordar la edad, el sexo, los intereses y pasatiempos del usuario, etc., para que el usuario no necesite volver a ingresar esta información cada vez.
Sin embargo, Rehberg descubrió poco después del lanzamiento que mediante un método llamado inyección indirecta de pistas, los atacantes podían crear y almacenar recuerdos falsos.
Mostró cómo engañar a ChatGPT haciéndole creer que un usuario tiene 102 años, vive en Matrix y cree que la Tierra es plana. Esta información falsa se puede colocar mediante almacenamiento de archivos no seguro (como Google Drive o Microsoft OneDrive), cargando imágenes maliciosas o visitando sitios web sospechosos como Bing.
Documento de demostración: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg informó en privado sobre la vulnerabilidad a OpenAI en mayo, pero la compañía cerró el informe ese mismo mes. Un mes después, presentó un nuevo reclamo, adjuntando un ejemplo de prueba de concepto que permitiría a la aplicación macOS de ChatGPT enviar entradas y salidas textuales del usuario a un servidor que él controlaba. Todo lo que el usuario objetivo debe hacer es darle acceso a ChatGPT a un enlace que contiene una imagen maliciosa y, a partir de ese momento, todo el contenido de la conversación se filtra al sitio web del atacante.
"Esto es realmente interesante porque el ataque es persistente", afirmó Rehberg durante la manifestación. "La inyección de propinas escribe la memoria en el almacenamiento a largo plazo de ChatGPT y las nuevas conversaciones seguirán robando datos".
Aunque OpenAI ha implementado algunas correcciones para evitar que los recuerdos se utilicen como medio para robar datos, Reberg recordó a los usuarios que deben estar atentos a posibles ataques de inyección de pistas causados por contenido que no es de confianza. Sugirió que al usar ChatGPT, los usuarios deberían observar cuidadosamente el contenido de salida para ver si se han agregado nuevos recuerdos y verificar periódicamente los recuerdos almacenados para asegurarse de que no estén implantados maliciosamente.
Destacar:
John Rehberg descubrió una vulnerabilidad en ChatGPT que permite a los piratas informáticos colocar información falsa en la memoria de los usuarios.
? Esta vulnerabilidad puede robar permanentemente datos de entrada del usuario a través de la función de memoria a largo plazo.
Los usuarios deben comprobar periódicamente los recuerdos almacenados para evitar la implantación de información falsa.
Con todo, esta vulnerabilidad en ChatGPT nos recuerda una vez más que la seguridad de la tecnología de inteligencia artificial es crucial y requiere que desarrolladores y usuarios trabajen juntos para garantizar la seguridad de la información del usuario. El editor de Downcodes recomienda utilizar ChatGPT con precaución y prestar atención a las actualizaciones de seguridad de manera oportuna para evitar riesgos potenciales.