Title Generator with LLM PEFT

Generador de títulos con LLM y PEFT (Lora)

[ACTUALIZACIÓN]: ¡pronto se agregará Llama2 con Qlora!

Este proyecto tiene como objetivo generar un título del resumen dado para artículos académicos. Los modelos se sintonizaron con PEFT utilizando el conjunto de datos ARXIV. Se sintonizaron dos modelos diferentes con Lora (Hu et al., 2021). Solo se seleccionaron artículos en la categoría de informática en el conjunto de datos ARXIV . Este número también se ha reducido debido a los límites de memoria y tiempo. Los modelos ajustados están disponibles a través de espacios Huggingface:

• Huggingface Spaces Bart
• Spaces Huggingface T5

El proyecto incluye:

• Método de adaptación de bajo rango (Lora)
• Parámetros de ajuste fino eficiente (PEFT)
• Entrenamientos modelo Huggingface (Base T5, Bart-Base)
• Métrica de evaluación de Rouge Score
• Evaluación de un solo disparo y suma de instrucción y adición de instrucciones
• Modelo de fusión y carga a Huggingface
• Seguimiento de registros, uso de memoria, tiempo transcurrido para preprocesamiento, capacitación, procesos de evaluación, visualización de la pérdida de capacitación/prueba
• EDA y script para filtrar el conjunto de datos ARXIV con solo artículos de informática (CS).
• Filtrar y convertir el conjunto de datos .json a formato .csv

Bibliotecas y paquetes externas:

• Antorcha
• Cara de abrazo
• Transformadores
• Bitsandbytes
• Peft
• Acelerar
• Evaluar (puntuación Rouge)
• Loralib
• TRL
• Pandas, numpy, matplotlib, tqdm, tiempo

Parámetros y limitaciones de entrenamiento

• 6000 muestras de entrenamiento, 1000 muestras de validación, 250 muestras de prueba se filtran desde el conjunto de datos.
• (El número de documentos relacionados con CS es 299131. Sin embargo, uno de los objetivos de este proyecto es verificar la eficiencia de pequeños LLM con PEFT/Lora. Por lo tanto, se consideran menos muestras de datos de entrenamiento y menos épocas de entrenamiento).
• Los modelos están entrenados para 6 épocas.
• Lora Atención R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Resultados

Bart sintonizado

• Memoria en caché: 11.2 GB
• Tiempo de entrenamiento: 11423.89 s

T5 sintonizado

• Memoria almacenada en caché: 13.7 GB
• Tiempo de entrenamiento: 9793.74 S

Salidas de bart sintonizadas

	Título original	Título generado
1	Circuitos cuánticos para sistemas cuánticos fuertemente correlacionados	Simulación cuántica de hamiltonianos de muchos cuerpos fuertemente correlacionados
2	Teko: redes neuronales gráficas ricas en texto con conocimiento externo	Redes neuronales gráficas ricas en texto con conocimiento externo
3	Cargo: almacenamiento comprimido de información genómica sin formato efectivo	Cargo: Archivado comprimido para la genómica
4	Control de energía de eficiencia energética de la comunicación de MMWAVE en tren para	Eficiencia energética de la comunicación de MMWave en el campo de tren para trenes de alta velocidad
5	Una encuesta sobre sesgo en la investigación del aprendizaje automático	Comprender las fuentes y las consecuencias del sesgo en el aprendizaje automático
6	SA-Unet: Atención en U-Net espacial para la segmentación de los vasos retinianos	Atención espacial U-Net: atención espacial para enfermedades relacionadas con los ojos
7	Un nuevo algoritmo heurístico para la segmentación K rápida	Un nuevo algoritmo heurístico para la segmentación K
8	Progresión y desafíos de IoT en la atención médica: una breve revisión	Smart Healthcare and Healthcare: un análisis comparativo de la salud y la seguridad inteligentes
9	FVC: un nuevo marco hacia una compresión de video profunda en el espacio de funciones	Compresión de video-espacio-espacio para la codificación de video basada en el aprendizaje

Capturas de pantalla

• Pérdida de entrenamiento/prueba de BART (6 épocas)

• Pérdida de entrenamiento/prueba T5 (6 épocas)