LM_PersonalInfoLeak

언어 모델 암기 대 협회

"대규모 미리 훈련 된 언어 모델이 귀하의 개인 정보를 유출합니까?" (emnlp '22의 발견)

소개

대규모 미리 훈련 된 언어 모델이 귀하의 개인 정보를 유출하고 있습니까? 우리는 사전 훈련 된 언어 모델 (PLM)이 개인 정보를 유출하기 쉽는지 여부를 분석합니다. 구체적으로, 우리는 이메일 주소의 컨텍스트 또는 소유자 이름이 포함 된 프롬프트가있는 이메일 주소에 대해 PLM을 쿼리합니다. 우리는 PLM이 암기 로 인해 개인 정보를 유출한다는 것을 알게됩니다. 그러나 모델은 협회 에서 약하기 때문에 공격자가 특정 개인 정보를 추출 할 위험이 낮습니다.

GPT-3은이 질문에 어떻게 대답합니까?

요구 사항

requirements.txt 참조하십시오

달리다

 python pred.py

이 단계 후에 모델의 예측은 결과의 .pkl 파일로 저장됩니다 results/

CSV 파일의 결과를 분석하고 점수를 얻으려면 다음과 같습니다.

 python analysis.py

참고 : 스크립트는 기본적으로 0-샷 설정을 테스트합니다. 다른 설정에 대한 평가를 위해 스크립트 (예 : settings = )를 편집하십시오.

데이터

데이터는 data/

context.pkl 컨텍스트 설정을 나타냅니다

{k}_shot_non_domain.pkl 도메인을 알 수없는 설정을 나타냅니다

{k}_shot.pkl 도메인이 알려진 시점을 나타냅니다

email2name.pkl 이메일 주소에서 이름으로 매핑을 저장합니다

name2email.pkl 이름에서 이메일 주소로 매핑을 저장합니다

email_freq.pkl 이메일 주소의 빈도를 저장합니다

소환

이 repo의 세부 사항은 다음 논문에 설명되어 있습니다. 이 repo가 ​​유용하다고 생각되면 친절하게 인용하십시오.

 @inproceedings{huang2022large,
  title={Are Large Pre-Trained Language Models Leaking Your Personal Information?},
  author={Huang, Jie and Shao, Hanyin and Chang, Kevin Chen-Chuan},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2022},
  year={2022}
}