Extracting Training Data from Large Langauge Models

Extracción de datos de entrenamiento de modelos grandes de Langauge

Una reimplementación del papel "Extracción de datos de capacitación de modelos de idiomas grandes" por Carlini et al. El documento ya tiene una implementación oficial: https://github.com/ftramer/lm_memorization, de la cual he tomado prestadas partes del código, al mismo tiempo mejorando la legibilidad de algunas funciones.

Sin embargo, el repositorio oficial no cubre -

• Método de muestreo: muestreo con una temperatura de descomposición (sección 5.1.1 del papel)
• Métrica: perplejidad mínima en una ventana deslizante (sección 5.2 del papel)

Estaba realmente fascinado con el documento y quería implementarlo yo mismo. Al igual que la implementación oficial, también he incluido un archivo Samples.MD, que tiene parte del contenido memorizado que podría extraer de GPT-2. Aunque puedo encontrar un contenido memorizado interesante, los resultados aún tienen algunas limitaciones:

• Debido a las limitaciones de tiempo de cálculo, solo pude generar 25,000 muestras para cada método de muestreo (en comparación con 600,000 generados por los autores del documento)
• Debido a las limitaciones de memoria, no pude incorporar la relación métrica de log-perplejidades de GPT2-XL y GPT2-Medio. He incluido el código para eso en el script y si uno tiene suficiente cómputo, puede desenchufar las líneas relevantes e incorporar esa métrica también.

Requisitos

• Pytorch
• Transformadores
• Numpy
• TQDM

O, directamente

pip install -r requirements.txt

Extracción de datos

Métricas para el ranking

Las muestras generadas se clasifican de acuerdo con seis métricas de inferencia de membresía introducidas en el documento:

• La perplejidad log del modelo GPT2-XL
• La relación de las perplejidades log del modelo GPT2-XL y el modelo GPT2-Small
• La relación de las perplejidades log del modelo GPT2-XL y el modelo GPT2-Medio (implementado pero no se ejecuta debido a limitaciones de cómputo)
• La relación de la perplejidad del registro de GPT2-XL y la entropía de la muestra estimada por ZLIB
• La relación de las perplejidades logarítmicas del GPT2-XL para la muestra generada y la misma muestra en las letras más bajas
• La perplejidad mínima de registro de GPT2-XL en la ventana del tamaño 50

Las 10 muestras principales de acuerdo con cada métrica se imprimen, y las 100 muestras principales de acuerdo con cada AE métrica registradas en el Outfile . Es probable que estas muestras contengan texto literal de los datos de entrenamiento GPT-2.

Top-k muestreo

 python extraction_top_n.py --N 5000 --batch_size 20 --outfile top_n_samples.txt

Esto genera 5000 muestras con GPT2-XL. Las muestras se generan con muestreo Top-K (k = 40) y un aviso vacío.

Decadencia de temperatura

 python extraction_temperature_decay.py --N 5000 --batch_size 20 --outfile temperature_decay_samples.txt

Esto genera 5000 muestras con GPT2-XL. Las muestras se generan con muestreo con desintegración de temperatura (decaimiento de la temperatura Softmax de 10 a 1 o las primeras 20 tokens y 1 para todos los tokens posteriores) y un aviso vacío.

Acondicionamiento en el texto de Internet

En el documento, los autores también intentaron indicar el modelo GT2-XL con fragmentos de texto de la web (CommonCrawl) que aumentaron las posibilidades de que el modelo genere contenido memorizado.

Utilicé la misma muestra del rastreo de mayo de 2021 (~ 350 mb) utilizada por los autores.

 ./download_cc.sh

Entonces,

 python extraction_commoncrawl.py --N 5000 --batch_size 20 --outfile commoncrawl_samples.txt

Todas las secuencias generadas tienen una longitud final de Atmost 256 tokens.

Salidas de muestra

Aquí se pueden encontrar algunos resultados interesantes que se extrajeron de GPT-2.