Recentemente, o editor do Downcodes soube que o pesquisador de segurança John Rehberg descobriu uma vulnerabilidade grave no ChatGPT, que pode permitir que hackers implantem informações falsas e instruções maliciosas na memória de longo prazo dos usuários, roubando assim permanentemente os dados do usuário. A OpenAI inicialmente demorou a responder à vulnerabilidade, mas acabou lançando correções parciais depois de se deparar com exemplos de ataques de prova de conceito fornecidos por pesquisadores. Esta vulnerabilidade aproveita a função de memória de sessão de longo prazo do ChatGPT. Um invasor pode implantar memórias falsas por meio de injeção indireta de prompt, por exemplo, fazendo o ChatGPT acreditar que a idade, residência e outras informações do usuário são falsas.
Recentemente, o pesquisador de segurança Johann Rehberger descobriu uma vulnerabilidade no ChatGPT que poderia permitir que hackers plantassem informações falsas e instruções maliciosas na memória de longo prazo do usuário.
Embora ele tenha relatado o problema à OpenAI, infelizmente a empresa não o levou a sério e rapidamente encerrou a investigação, alegando que não se tratava de um problema de segurança.
Diante dessa situação, Reberg decidiu não desistir e desenvolveu um exemplo de ataque de prova de conceito que poderia explorar essa vulnerabilidade para roubar permanentemente todos os dados de entrada do usuário. A OpenAI percebeu isso acontecendo e lançou uma correção parcial este mês na tentativa de resolver o problema.
Então, como surgiu essa vulnerabilidade? Ela aproveita a função de memória de sessão de longo prazo do ChatGPT, que foi testada desde fevereiro deste ano e lançada oficialmente em setembro. A memória de longo prazo pode armazenar informações de conversas anteriores do usuário e usá-las como contexto em conversas subsequentes. Em outras palavras, o ChatGPT pode lembrar a idade, sexo, interesses e hobbies do usuário, etc., para que o usuário não precise inserir essas informações novamente todas as vezes.
No entanto, Rehberg descobriu logo após o lançamento que, através de um método chamado injeção indireta de dicas, os invasores poderiam criar e armazenar memórias falsas.
Ele mostrou como fazer o ChatGPT acreditar que um usuário tem 102 anos, vive em Matrix e acredita que a Terra é plana. Essas informações falsas podem ser plantadas por meio de armazenamento de arquivos não seguros (como Google Drive ou Microsoft OneDrive), upload de imagens maliciosas ou visitas a sites suspeitos como o Bing.
Documento de demonstração: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg relatou privadamente a vulnerabilidade à OpenAI em maio, mas a empresa fechou o relatório no mesmo mês. Um mês depois, ele apresentou uma nova reivindicação, anexando um exemplo de prova de conceito que permitiria ao aplicativo macOS do ChatGPT enviar literalmente entradas e saídas do usuário para um servidor que ele controlava. Tudo o que o usuário alvo precisa fazer é dar ao ChatGPT acesso a um link contendo uma imagem maliciosa e, a partir daí, todo o conteúdo da conversa vaza para o site do invasor.
“Isto é realmente interessante porque o ataque é persistente”, disse Rehberg durante a manifestação. “A injeção de dicas grava a memória no armazenamento de longo prazo do ChatGPT e novas conversas continuarão a roubar dados.”
Embora a OpenAI tenha implementado algumas correções para evitar que as memórias sejam usadas como meio de roubar dados, Reberg lembrou aos usuários que ainda devem estar cientes de possíveis ataques de injeção de dicas causados por conteúdo não confiável. Ele sugeriu que, ao usar o ChatGPT, os usuários observassem cuidadosamente o conteúdo de saída para ver se alguma nova memória foi adicionada e verificassem regularmente as memórias armazenadas para garantir que não fossem implantadas de forma maliciosa.
Destaque:
John Rehberg descobriu uma vulnerabilidade no ChatGPT que permite que hackers plantem informações falsas nas memórias dos usuários.
?Esta vulnerabilidade pode roubar permanentemente dados de entrada do usuário através da função de memória de longo prazo.
Os usuários precisam verificar regularmente as memórias armazenadas para evitar a implantação de informações falsas.
Em suma, esta vulnerabilidade no ChatGPT lembra-nos mais uma vez que a segurança da tecnologia de inteligência artificial é crucial e exige que desenvolvedores e utilizadores trabalhem em conjunto para garantir a segurança das informações dos utilizadores. O editor do Downcodes recomenda que você use o ChatGPT com cautela e preste atenção às atualizações de segurança em tempo hábil para evitar riscos potenciais.