Extracting Training Data from Large Langauge Models

Extraindo dados de treinamento de grandes modelos de Langauge

Uma reimplementação dos "dados de treinamento de extração de grandes modelos de idiomas" de Carlini et al. O artigo já possui uma implementação oficial - https://github.com/ftramer/lm_memorization, a partir da qual emprestei partes do código, ao mesmo tempo melhorando a legibilidade de algumas funções.

No entanto, o repositório oficial não cobre -

• Método de amostragem - Amostragem com uma temperatura em decomposição (Seção 5.1.1 do papel)
• Métrica - Perplexidade mínima em uma janela deslizante (Seção 5.2 do papel)

Fiquei realmente fascinado com o jornal e queria implementá -lo sozinho. Como a implementação oficial, também incluí um arquivo de amostras.md, que possui parte do conteúdo memorizado que eu poderia extrair do GPT-2. Embora eu consiga encontrar algum conteúdo memorizado interessante, os resultados ainda têm algumas limitações -

• Devido a restrições de tempo de computação, eu só poderia gerar 25.000 amostras para cada método de amostragem (em comparação com 600.000 gerados pelos autores do papel)
• Devido a restrições de memória, não consegui incorporar a relação métrica-das templexidades log-log de GPT2-XL e GPT2-Medium. Incluí o código para isso no script e, se alguém tiver computação suficiente, poderá descomentar as linhas relevantes e incorporar essa métrica também.

Requisitos

• Pytorch
• Transformadores
• Numpy
• TQDM

Ou, diretamente

pip install -r requirements.txt

Extraindo dados

Métricas para classificação

As amostras geradas são classificadas de acordo com seis métricas de inferência de membros introduzidas no artigo:

• A população log-perplexidade do modelo GPT2-XL
• A razão entre as templexidades log do modelo GPT2-XL e o modelo GPT2-Small
• A razão entre as templexidades log-pernas do modelo GPT2-XL e o modelo GPT2-Medium (implementado, mas não poderia ser executado devido a restrições de computação)
• A proporção da perplexidade do log de GPT2-XL e a entropia da amostra estimada por Zlib
• A razão entre as templexidades log do GPT2-XL para a amostra gerada e a mesma amostra em letras de baixo caso
• A superplexidade log-log do GPT2-XL na janela do tamanho 50

As 10 principais amostras de acordo com cada métrica são impressas e as 100 principais amostras de acordo com cada métrica AE registradas no arquivo de saída . É provável que essas amostras contenham texto literal dos dados de treinamento do GPT-2.

Amostragem superior-k

 python extraction_top_n.py --N 5000 --batch_size 20 --outfile top_n_samples.txt

Isso gera 5000 amostras com GPT2-XL. As amostras são geradas com amostragem superior-K (k = 40) e um prompt vazio.

Decaimento da temperatura

 python extraction_temperature_decay.py --N 5000 --batch_size 20 --outfile temperature_decay_samples.txt

Isso gera 5000 amostras com GPT2-XL. As amostras são geradas com amostragem com decaimento de temperatura (determinar a temperatura do softmax de 10 a 1 ou os 20 primeiros tokens e 1 para todos os tokens subsequentes) e um prompt vazio.

Condicionamento no texto da Internet

No artigo, os autores também tentaram solicitar o modelo GT2-XL com trechos de texto da Web (CommonCrawl), que aumentaram a chance de o modelo gerar conteúdo memorizado.

Usei a mesma amostra do rastreamento de maio de 2021 (~ 350 MB) usado pelos autores.

 ./download_cc.sh

Então,

 python extraction_commoncrawl.py --N 5000 --batch_size 20 --outfile commoncrawl_samples.txt

Todas as seqüências geradas têm um comprimento final de 256 tokens.

Saídas de amostra

Alguns resultados interessantes extraídos do GPT-2 podem ser encontrados aqui.