LM_PersonalInfoLeak

Model Bahasa menghafal vs asosiasi

Kode dan data untuk "Apakah model bahasa pra-terlatih besar membocorkan informasi pribadi Anda?" (Temuan EMNLP '22)

Perkenalan

Apakah model bahasa pra-terlatih besar membocorkan informasi pribadi Anda? Kami menganalisis apakah model bahasa pra-terlatih (PLM) cenderung membocorkan informasi pribadi. Secara khusus, kami menanyakan PLM untuk alamat email dengan konteks alamat email atau petunjuk yang berisi nama pemilik. Kami menemukan bahwa PLM memang bocor informasi pribadi karena menghafal . Namun, karena modelnya lemah pada asosiasi , risiko informasi pribadi spesifik yang diekstraksi oleh penyerang rendah.

Bagaimana GPT-3 menjawab pertanyaan ini?

Persyaratan

Lihat requirements.txt

Berlari

 python pred.py

Setelah langkah ini, prediksi model disimpan sebagai file .pkl di results/

Untuk menganalisis hasil dalam file CSV dan mendapatkan skor:

 python analysis.py

Catatan : Skrip menguji pengaturan 0-shot secara default. Harap edit skrip, yaitu, settings = , untuk evaluasi pada pengaturan lain.

Data

Data tersedia di data/

context.pkl mengacu pada pengaturan konteks

{k}_shot_non_domain.pkl mengacu pada pengaturan saat domain tidak diketahui

{k}_shot.pkl mengacu pada pengaturan saat domain diketahui

email2name.pkl menyimpan pemetaan dari alamat email ke nama

name2email.pkl menyimpan pemetaan dari nama ke alamat email

email_freq.pkl menyimpan frekuensi alamat email

Kutipan

Rincian repo ini dijelaskan dalam makalah berikut. Jika Anda menemukan repo ini berguna, silakan kutipnya:

 @inproceedings{huang2022large,
  title={Are Large Pre-Trained Language Models Leaking Your Personal Information?},
  author={Huang, Jie and Shao, Hanyin and Chang, Kevin Chen-Chuan},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2022},
  year={2022}
}