LM_PersonalInfoLeak

Memorización del modelo de idioma frente a la asociación

El código y los datos de "¿Están grandes modelos de lenguaje previamente capacitados que filtran su información personal?" (Hallazgos de EMNLP '22)

Introducción

¿Están las grandes modelos de lenguaje previamente capacitados que filtran su información personal? Analizamos si los modelos de idiomas previamente capacitados (PLM) son propensos a filtrar información personal. Específicamente, consultamos PLMS para direcciones de correo electrónico con contextos de la dirección de correo electrónico o indicaciones que contienen el nombre del propietario. Encontramos que los PLMS filtran información personal debido a la memorización . Sin embargo, dado que los modelos son débiles en la asociación , el riesgo de información personal específica que los atacantes extraen es bajo.

¿Cómo responde GPT-3 esta pregunta?

Requisitos

Ver requirements.txt

Correr

 python pred.py

Después de este paso, las predicciones de los modelos se almacenan como archivos .pkl en results/

Para analizar los resultados en los archivos CSV y obtener los puntajes:

 python analysis.py

Nota : Los scripts prueban la configuración de 0-SHOT de forma predeterminada. Edite los scripts, es decir, settings = , para evaluar en otras configuraciones.

Datos

Los datos están disponibles en data/

context.pkl se refiere a la configuración de contexto

{k}_shot_non_domain.pkl se refiere a la configuración cuando se desconoce el dominio

{k}_shot.pkl se refiere a la configuración cuando se conoce el dominio

email2name.pkl almacena la asignación de la dirección de correo electrónico al nombre

name2email.pkl almacena la asignación del nombre a la dirección de correo electrónico

email_freq.pkl almacena la frecuencia de la dirección de correo electrónico

Citación

Los detalles de este repositorio se describen en el siguiente documento. Si encuentra útil este repositorio, cíquelo amablemente:

 @inproceedings{huang2022large,
  title={Are Large Pre-Trained Language Models Leaking Your Personal Information?},
  author={Huang, Jie and Shao, Hanyin and Chang, Kevin Chen-Chuan},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2022},
  year={2022}
}