최근 Downcodes의 편집자는 보안 연구원인 John Rehberg가 ChatGPT에서 해커가 사용자의 장기 메모리에 잘못된 정보와 악의적인 명령을 심어 사용자 데이터를 영구적으로 훔칠 수 있는 심각한 취약점을 발견했다는 사실을 알게 되었습니다. OpenAI는 처음에는 취약점에 대한 대응이 느렸지만, 연구원들이 제공한 개념 증명 공격 사례를 접한 후 결국 부분적인 수정 사항을 출시했습니다. 이 취약점은 ChatGPT의 장기 세션 메모리 기능을 활용합니다. 예를 들어 공격자는 간접 프롬프트 주입을 통해 잘못된 기억을 심어 ChatGPT가 사용자의 나이, 거주지 및 기타 정보가 거짓이라고 믿게 만들 수 있습니다.
최근 보안 연구원인 Johann Rehberger는 해커가 사용자의 장기 기억에 잘못된 정보와 악의적인 지침을 심을 수 있는 ChatGPT의 취약점을 발견했습니다.
그는 이 문제를 OpenAI에 보고했지만 안타깝게도 회사는 이를 심각하게 받아들이지 않았고 보안 문제가 아니라고 주장하며 신속하게 조사를 종료했습니다.
이러한 상황에 직면한 Reberg는 포기하지 않기로 결정하고 이 취약점을 악용하여 모든 사용자 입력 데이터를 영구적으로 훔칠 수 있는 개념 증명 공격 예제를 개발했습니다. OpenAI는 이러한 상황을 목격하고 문제 해결을 위해 이번 달에 부분적인 수정 사항을 출시했습니다.
그렇다면 이 취약점은 어떻게 발생하게 된 걸까요? 올해 2월부터 테스트를 거쳐 9월 공식 출시된 ChatGPT의 장기 세션 메모리 기능을 활용합니다. 장기 기억은 사용자의 이전 대화 정보를 저장하고 이를 후속 대화의 맥락으로 사용할 수 있습니다. 즉, ChatGPT는 사용자의 나이, 성별, 관심사, 취미 등을 기억할 수 있으므로 사용자가 매번 이 정보를 다시 입력할 필요가 없습니다.
그러나 Rehberg는 출시 직후 간접 힌트 주입이라는 방법을 통해 공격자가 잘못된 기억을 생성하고 저장할 수 있다는 사실을 발견했습니다.
그는 사용자가 102세이고 매트릭스에 살고 있으며 지구가 평평하다고 믿도록 ChatGPT를 속이는 방법을 보여주었습니다. 이러한 허위 정보는 보안되지 않은 파일 저장소(예: Google Drive 또는 Microsoft OneDrive)를 통해 심어지거나 악성 이미지를 업로드하거나 Bing과 같은 의심스러운 웹 사이트를 방문할 수 있습니다.
데모 문서: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg는 지난 5월 OpenAI의 취약점을 비공개적으로 보고했지만 회사는 같은 달에 보고서를 마감했습니다. 한 달 후, 그는 ChatGPT의 macOS 애플리케이션이 자신이 제어하는 서버에 사용자 입력 및 출력을 그대로 보낼 수 있도록 하는 개념 증명 예제를 첨부하여 새로운 주장을 제출했습니다. 대상 사용자가 해야 할 일은 ChatGPT에 악성 이미지가 포함된 링크에 대한 액세스 권한을 부여하는 것뿐입니다. 그러면 이후부터 모든 대화 내용이 공격자의 웹 사이트로 유출됩니다.
Rehberg는 시연 중에 "공격이 끈질기게 진행되기 때문에 정말 흥미롭습니다."라고 말했습니다. "팁 주입은 ChatGPT의 장기 저장소에 메모리를 기록하며 새로운 대화는 계속해서 데이터를 훔칠 것입니다."
OpenAI는 메모리가 데이터를 훔치는 수단으로 사용되는 것을 방지하기 위해 몇 가지 수정 사항을 구현했지만 Reberg는 신뢰할 수 없는 콘텐츠로 인해 발생할 수 있는 힌트 삽입 공격에 대해 사용자에게 여전히 주의하라고 상기시켰습니다. 그는 ChatGPT를 사용할 때 사용자가 출력 내용을 주의 깊게 관찰하여 새로운 메모리가 추가되었는지 확인하고 저장된 메모리를 정기적으로 확인하여 악의적으로 이식되지 않았는지 확인해야 한다고 제안했습니다.
가장 밝은 부분:
John Rehberg는 해커가 사용자의 기억에 허위 정보를 심을 수 있는 ChatGPT의 취약점을 발견했습니다.
? 이 취약점은 장기 기억 기능을 통해 사용자 입력 데이터를 영구적으로 훔칠 수 있습니다.
허위 정보가 주입되는 것을 방지하기 위해 사용자는 저장된 메모리를 정기적으로 확인해야 합니다.
전체적으로 ChatGPT의 이 취약점은 인공 지능 기술의 보안이 중요하며 개발자와 사용자가 사용자 정보의 보안을 보장하기 위해 협력해야 함을 다시 한 번 상기시켜줍니다. Downcodes의 편집자는 잠재적인 위험을 피하기 위해 ChatGPT를 주의해서 사용하고 적시에 보안 업데이트에 주의할 것을 권장합니다.