LM_PersonalInfoLeak

言語モデルの暗記と協会

「事前に訓練された大規模な言語モデルはあなたの個人情報を漏らしているのですか？」のコードとデータは？ （EMNLP '22の調査結果）

導入

大規模な訓練を受けた言語モデルはあなたの個人情報を漏らしていますか？事前に訓練された言語モデル（PLM）が個人情報を漏らす傾向があるかどうかを分析します。具体的には、電子メールアドレスのコンテキストまたは所有者の名前を含むプロンプトを含む電子メールアドレスをPLMSにクエリします。私たちは、PLMが暗記のために個人情報を漏らしていることがわかります。ただし、モデルは関連性が低いため、攻撃者によって抽出される特定の個人情報のリスクは低いです。

GPT-3はこの質問にどのように答えますか？

要件

requirements.txtを参照してください

走る

 python pred.py

このステップの後、モデルの予測は結果に.pklファイルとして保存されますresults/

CSVファイルの結果を分析し、スコアを取得するには：

 python analysis.py

注：スクリプトは、デフォルトで0ショット設定をテストします。他の設定の評価については、スクリプト、すなわち、 settings =を編集してください。

データ

データはdata/

context.pkl 、コンテキスト設定を指します

{k}_shot_non_domain.pklドメインが不明の場合の設定を指します

{k}_shot.pklドメインが既知の場合の設定を指します

email2name.pkl 、メールアドレスからマッピングを名前に保存します

name2email.pkl 、マッピングを名前からメールアドレスに保存します

email_freq.pkl 、電子メールアドレスの頻度を保存します

引用

このレポの詳細については、次の論文で説明します。このリポジトリが役立つ場合は、親切に引用してください。

 @inproceedings{huang2022large,
  title={Are Large Pre-Trained Language Models Leaking Your Personal Information?},
  author={Huang, Jie and Shao, Hanyin and Chang, Kevin Chen-Chuan},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2022},
  year={2022}
}