最近、Downcodes の編集者は、セキュリティ研究者の John Rehberg 氏が ChatGPT に重大な脆弱性を発見したことを知りました。この脆弱性により、ハッカーが誤った情報や悪意のある命令をユーザーの長期記憶に埋め込み、ユーザー データを永久に盗む可能性があります。 OpenAI は当初、この脆弱性への対応が遅れていましたが、研究者が提供した概念実証の攻撃例に直面した後、最終的には部分的な修正をリリースしました。この脆弱性は、ChatGPT の長期セッション メモリ機能を利用し、攻撃者が間接プロンプト インジェクションを通じて偽のメモリを埋め込み、ChatGPT にユーザーの年齢、居住地、その他の情報が虚偽であると信じ込ませることができます。
最近、セキュリティ研究者の Johann Rehberger は、ハッカーがユーザーの長期記憶に虚偽の情報や悪意のある命令を植え付ける可能性がある ChatGPT の脆弱性を発見しました。
彼はこの問題を OpenAI に報告しましたが、残念ながら同社はこの問題を十分に真剣に受け止めず、セキュリティ上の問題ではないと主張してすぐに調査を終了しました。
この状況に直面して、レベルグ氏は諦めず、この脆弱性を悪用してすべてのユーザー入力データを永久に盗むことができる概念実証の攻撃例を開発しました。 OpenAI はこの問題を認識し、今月、問題を解決するために部分的な修正をリリースしました。
では、この脆弱性はどのようにして生じたのでしょうか? この脆弱性は、今年 2 月からテストされ、9 月に正式にリリースされた ChatGPT の長期セッション メモリ機能を悪用しています。長期記憶には、ユーザーの以前の会話からの情報が保存され、その後の会話のコンテキストとして使用できます。言い換えれば、ChatGPT はユーザーの年齢、性別、興味や趣味などを記憶できるため、ユーザーは毎回この情報を再入力する必要がありません。
しかし、レーバーグ氏は、打ち上げ直後に、間接ヒント挿入と呼ばれる方法を通じて、攻撃者が偽の記憶を作成し、保存できる可能性があることを発見しました。
彼は、ChatGPT を騙して、ユーザーが 102 歳で、マトリックスに住んでおり、地球が平面であると信じていると信じ込ませる方法を示しました。これらの虚偽の情報は、安全でないファイル ストレージ (Google ドライブや Microsoft OneDrive など)、悪意のある画像のアップロード、Bing などの不審な Web サイトへのアクセスを通じて植え付けられる可能性があります。
デモドキュメント: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Rehberg は 5 月にこの脆弱性を OpenAI に非公開で報告しましたが、同社は同月に報告を終了しました。 1 か月後、彼は、ChatGPT の macOS アプリケーションがユーザーの入力と出力をそのまま彼が制御するサーバーに送信できるようにする概念実証の例を添付して、新しい主張を提出しました。ターゲット ユーザーが行う必要があるのは、ChatGPT に悪意のある画像を含むリンクへのアクセスを許可することだけであり、それ以降、すべての会話コンテンツが攻撃者の Web サイトに漏洩します。
「攻撃は執拗なので、これは本当に興味深い」とレーバーグ氏はデモンストレーション中に語った。 「チップインジェクションによりメモリが ChatGPT の長期ストレージに書き込まれ、新しい会話によってデータが盗まれ続けます。」
OpenAIはメモリがデータを盗む手段として使用されるのを防ぐためにいくつかの修正を実装したが、レベルグ氏はユーザーに対し、信頼できないコンテンツによって引き起こされるヒントインジェクション攻撃の可能性について引き続き注意するよう注意を喚起した。同氏は、ChatGPTを使用する場合、ユーザーは出力内容を注意深く観察して新しいメモリが追加されていないかどうかを確認し、保存されたメモリを定期的にチェックして悪意を持って埋め込まれていないことを確認する必要があると提案した。
ハイライト:
John Rehberg は、ハッカーがユーザーの記憶に虚偽の情報を植え付けることを可能にする ChatGPT の脆弱性を発見しました。
? この脆弱性により、長期記憶機能を通じてユーザー入力データが永久に盗まれる可能性があります。
ユーザーは、誤った情報の埋め込みを防ぐために、保存された記憶を定期的に確認する必要があります。
全体として、ChatGPT のこの脆弱性は、人工知能テクノロジーのセキュリティが重要であり、開発者とユーザーが協力してユーザー情報のセキュリティを確保する必要があることを改めて思い出させます。 Downcodes の編集者は、潜在的なリスクを回避するために、ChatGPT を慎重に使用し、適時にセキュリティ更新に注意を払うことを推奨しています。