Недавно редактор Downcodes узнал, что исследователь безопасности Джон Реберг обнаружил серьезную уязвимость в ChatGPT, которая может позволить хакерам внедрять ложную информацию и вредоносные инструкции в долговременную память пользователей, тем самым безвозвратно похищая пользовательские данные. Первоначально OpenAI медленно реагировала на уязвимость, но в конечном итоге выпустила частичные исправления после того, как столкнулась с примерами атак, подтверждающими концепцию, предоставленными исследователями. Эта уязвимость использует функцию долговременной памяти сеанса ChatGPT. Злоумышленник может внедрить ложные воспоминания посредством непрямого внедрения подсказок, например, заставляя ChatGPT полагать, что возраст, место жительства и другая информация пользователя являются ложными.
Недавно исследователь безопасности Йоханн Ребергер обнаружил уязвимость в ChatGPT, которая может позволить хакерам внедрять ложную информацию и вредоносные инструкции в долговременную память пользователя.
Хотя он сообщил о проблеме OpenAI, к сожалению, компания не отнеслась к этому достаточно серьезно и быстро закрыла расследование, заявив, что это не проблема безопасности.
Столкнувшись с этой ситуацией, Реберг решил не сдаваться и разработал пример атаки, которая могла бы использовать эту уязвимость для безвозвратной кражи всех входных данных пользователя. OpenAI заметила это и в этом месяце выпустила частичное исправление, пытаясь решить проблему.
Итак, как возникла эта уязвимость? Она использует функцию долгосрочной памяти сеанса ChatGPT, которая тестировалась с февраля этого года и официально была запущена в сентябре. Долговременная память может хранить информацию из предыдущих разговоров пользователя и использовать ее в качестве контекста в последующих разговорах. Другими словами, ChatGPT может запомнить возраст, пол, интересы и хобби пользователя и т. д., чтобы пользователю не приходилось каждый раз повторно вводить эту информацию.
Однако вскоре после запуска Реберг обнаружил, что с помощью метода, называемого непрямым внедрением подсказок, злоумышленники могут создавать и хранить ложные воспоминания.
Он показал, как обманом заставить ChatGPT поверить, что пользователю 102 года, он живет в Матрице и считает, что Земля плоская. Эта ложная информация может быть размещена через незащищенное хранилище файлов (например, Google Drive или Microsoft OneDrive), загрузку вредоносных изображений или посещение подозрительных веб-сайтов, таких как Bing.
Демо-документ: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/
Реберг в частном порядке сообщил OpenAI об уязвимости в мае, но в том же месяце компания закрыла отчет. Месяц спустя он подал новую заявку, приложив пример, подтверждающий концепцию, которая позволит приложению ChatGPT для macOS отправлять дословный пользовательский ввод и вывод на сервер, который он контролирует. Все, что нужно сделать целевому пользователю, — это предоставить ChatGPT доступ к ссылке, содержащей вредоносное изображение, и с этого момента весь контент разговора попадает на веб-сайт злоумышленника.
«Это действительно интересно, потому что атака носит постоянный характер», — сказал Реберг во время демонстрации. «Внедрение подсказок записывает память в долговременное хранилище ChatGPT, и новые разговоры будут продолжать воровать данные».
Хотя OpenAI внесла некоторые исправления, чтобы предотвратить использование памяти в качестве средства кражи данных, Реберг напомнил пользователям, что им следует помнить о возможных атаках с использованием подсказок, вызванных ненадежным контентом. Он предложил, чтобы при использовании ChatGPT пользователи внимательно наблюдали за выходным содержимым, чтобы увидеть, были ли добавлены какие-либо новые воспоминания, и регулярно проверяли сохраненные воспоминания, чтобы убедиться, что они не внедрены злонамеренно.
Выделять:
Джон Реберг обнаружил уязвимость в ChatGPT, позволяющую хакерам внедрять ложную информацию в память пользователей.
? Эта уязвимость может безвозвратно украсть введенные пользователем данные через функцию долговременной памяти.
Пользователям необходимо регулярно проверять сохраненные воспоминания, чтобы предотвратить внедрение ложной информации.
В целом, эта уязвимость в ChatGPT еще раз напоминает нам, что безопасность технологии искусственного интеллекта имеет решающее значение и требует от разработчиков и пользователей совместной работы для обеспечения безопасности пользовательской информации. Редактор Downcodes рекомендует использовать ChatGPT с осторожностью и своевременно обращать внимание на обновления безопасности, чтобы избежать потенциальных рисков.