LM_PersonalInfoLeak

Mémorisation du modèle linguistique vs association

Le code et les données pour "Les grands modèles de langue pré-formés divulguent-ils vos informations personnelles?" (Résultats de l'EMNLP '22)

Introduction

Les grands modèles de langue pré-formés divulguent-ils vos informations personnelles? Nous analysons si les modèles de langue pré-formés (PLMS) sont sujets à des informations personnelles. Plus précisément, nous interrogeons les PLM pour les adresses e-mail avec des contextes de l'adresse e-mail ou des invites contenant le nom du propriétaire. Nous constatons que les PLMS divulguent des informations personnelles en raison de la mémorisation . Cependant, comme les modèles sont faibles dans l'association , le risque d'extrait des informations personnelles spécifiques par les attaquants est faible.

Comment GPT-3 répond-il à cette question?

Exigences

Voir requirements.txt

Courir

 python pred.py

Après cette étape, les prédictions des modèles sont stockées sous forme de fichiers .pkl dans results/

Pour analyser les résultats dans les fichiers CSV et obtenir les scores:

 python analysis.py

Remarque : les scripts testent le paramètre 0-shot par défaut. Veuillez modifier les scripts, c'est-à-dire settings = , pour l'évaluation sur d'autres paramètres.

Données

Les données sont disponibles sur data/

context.pkl fait référence au paramètre de contexte

{k}_shot_non_domain.pkl fait référence au paramètre lorsque le domaine est inconnu

{k}_shot.pkl fait référence au paramètre lorsque le domaine est connu

email2name.pkl stocke le mappage de l'adresse e-mail à nom

name2email.pkl stocke le mappage du nom à l'adresse e-mail

email_freq.pkl stocke la fréquence de l'adresse e-mail

Citation

Les détails de ce dépôt sont décrits dans le document suivant. Si vous trouvez ce dépôt utile, veuillez le citer:

 @inproceedings{huang2022large,
  title={Are Large Pre-Trained Language Models Leaking Your Personal Information?},
  author={Huang, Jie and Shao, Hanyin and Chang, Kevin Chen-Chuan},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2022},
  year={2022}
}