Extracting Training Data from Large Langauge Models

从大型Langauge模型中提取培训数据

Carlini等人的“从大语言模型中提取培训数据”的重新实施。本文已经具有正式实施-https：//github.com/ftramer/lm_memorization，我从中借用了代码的一部分，同时提高了一些功能的可读性。

但是，官方存储库不涵盖 -

• 采样方法 - 用腐烂的温度采样（纸的第5.1.1节）
• 度量 - 滑动窗口上的最小困惑（纸的第5.2节）

我真的很着迷这篇论文，想自己实施。像官方实施一样，我还提供了一个samples.md文件，该文件具有一些可以从GPT-2中提取的记忆内容。尽管我能够找到一些有趣的记忆内容，但结果仍然有一些限制 -

• 由于计算时间限制，我只能为每种采样方法生成25,000个样本（相比之下，纸质作者生成的600,000个）
• 由于记忆限制，我无法将GPT2-XL和GPT2-中心的对数杂质的度量比率纳入。我已经在脚本中包括了该代码，如果一个人有足够的计算，它们可以删除相关的行并同时包含该指标。

要求

• Pytorch
• 变压器
• numpy
• TQDM

或直接

pip install -r requirements.txt

提取数据

排名的指标

根据本文介绍的六个会员推理指标对生成的样本进行排名：

• gpt2-xl模型的对数透色
• GPT2-XL模型和GPT2-MALL模型的对数杂质的比率
• GPT2-XL模型和GPT2-MEDIUM模型的对数透色的比率（由于计算约束而无法运行但无法运行）
• GPT2-XL的对数的困惑与样本的熵的比率由Zlib估计
• 生成样品的GPT2-XL的对数杂质的比率和低案例字母中的相同样品的比率
• 尺寸50窗口上GPT2-XL的最小日志杂质

根据每个度量标准的前10个样品被打印出来，并且根据列出的每个度量AE登录的每个指标的前100个样品。这些样本可能包含来自GPT-2训练数据的逐字文本。

TOP-K采样

 python extraction_top_n.py --N 5000 --batch_size 20 --outfile top_n_samples.txt

这将生成5000个带有GPT2-XL的样品。样品是用TOP-K采样（k = 40）和空提示生成的。

温度衰减

 python extraction_temperature_decay.py --N 5000 --batch_size 20 --outfile temperature_decay_samples.txt

这将生成5000个带有GPT2-XL的样品。样品是用温度衰减的采样生成的（衰减的温度从10到1或前20个令牌衰减，而后来的所有令牌为1）和一个空的提示。

在互联网文字上进行调节

在论文中，作者还尝试了通过网络（CommunCrawl）的文本片段提示GT2-XL模型，这增加了模型生成记忆内容的机会。

我使用了作者使用的2021年5月（〜350 MB）的爬网样本。

 ./download_cc.sh

然后，

 python extraction_commoncrawl.py --N 5000 --batch_size 20 --outfile commoncrawl_samples.txt

所有生成的序列的最终长度为256个令牌。

样本输出

从GPT-2提取的一些有趣的输出可以在此处找到。