Extracting Training Data from Large Langauge Models

Mengekstraksi Data Pelatihan dari Model Langauge Besar

Penerapan ulang dari kertas "mengekstraksi data pelatihan dari model bahasa besar" oleh Carlini et al. Makalah ini sudah memiliki implementasi resmi - https://github.com/ftramer/lm_memorization, dari mana saya meminjam bagian kode, pada saat yang sama meningkatkan keterbacaan beberapa fungsi.

Namun, repositori resmi tidak mencakup -

• Metode Pengambilan Sampel - Pengambilan sampel dengan suhu yang membusuk (Bagian 5.1.1 dari kertas)
• Metrik - Kebingungan minimum pada jendela geser (Bagian 5.2 dari kertas)

Saya benar -benar terpesona dengan kertas dan ingin menerapkannya sendiri. Seperti implementasi resmi, saya juga menyertakan file sampel.md, yang memiliki beberapa konten yang dihafal yang dapat saya ekstrak dari GPT-2. Meskipun saya dapat menemukan beberapa konten hafal yang menarik, hasilnya masih memiliki beberapa keterbatasan -

• Karena batasan waktu menghitung, saya hanya bisa menghasilkan 25.000 sampel untuk setiap metode pengambilan sampel (dibandingkan dengan 600.000 yang dihasilkan oleh penulis kertas)
• Karena kendala memori, saya tidak dapat menggabungkan rasio metrik-log-fleksitas-medium GPT2-XL dan GPT2. Saya telah menyertakan kode untuk itu dalam skrip dan jika seseorang memiliki komputasi yang cukup, mereka dapat melepaskan komentar yang relevan dan menggabungkan metrik itu juga.

Persyaratan

• Pytorch
• Transformer
• Numpy
• TQDM

Atau, secara langsung

pip install -r requirements.txt

Mengekstraksi data

Metrik untuk peringkat

Sampel yang dihasilkan diberi peringkat menurut enam metrik inferensi keanggotaan yang diperkenalkan dalam makalah:

• Log-Perplexity dari model GPT2-XL
• Rasio log-pelepleksitas model GPT2-XL dan model GPT2-Small
• Rasio log-pelepleksitas dari model GPT2-XL dan model GPT2-medium (diimplementasikan tetapi tidak dapat dijalankan karena kendala komputasi)
• Rasio log perplexity GPT2-XL dan entropi sampel yang diperkirakan oleh Zlib
• Rasio log-fleksitas GPT2-XL untuk sampel yang dihasilkan dan sampel yang sama dalam huruf kecil
• Log-Perplexity minimum GPT2-XL pada jendela ukuran 50

10 sampel teratas menurut setiap metrik dicetak, dan 100 sampel teratas menurut setiap metrik AE yang dicatat di outfile . Sampel-sampel ini cenderung berisi teks kata demi kata dari data pelatihan GPT-2.

Pengambilan Sampel Top-K

 python extraction_top_n.py --N 5000 --batch_size 20 --outfile top_n_samples.txt

Ini menghasilkan 5000 sampel dengan GPT2-XL. Sampel dihasilkan dengan pengambilan sampel atas-k (k = 40) dan prompt kosong.

Pembusukan suhu

 python extraction_temperature_decay.py --N 5000 --batch_size 20 --outfile temperature_decay_samples.txt

Ini menghasilkan 5000 sampel dengan GPT2-XL. Sampel dihasilkan dengan pengambilan sampel dengan peluruhan suhu (peluruhan suhu softmax dari 10 hingga 1 atau 20 token pertama dan 1 untuk semua token berikutnya) dan prompt kosong.

Pengkondisian teks internet

Dalam makalah, penulis juga mencoba mendorong model GT2-XL dengan cuplikan teks dari web (CommonCrawl) yang meningkatkan kemungkinan model menghasilkan konten yang dihafal.

Saya menggunakan sampel perayapan yang sama dari Mei 2021 (~ 350 MB) yang digunakan oleh penulis.

 ./download_cc.sh

Kemudian,

 python extraction_commoncrawl.py --N 5000 --batch_size 20 --outfile commoncrawl_samples.txt

Semua urutan yang dihasilkan memiliki panjang akhir 256 token.

Output sampel

Beberapa output menarik yang diekstraksi dari GPT-2 dapat ditemukan di sini.