Title Generator with LLM PEFT

Gerador de título com LLM & PEFT (Lora)

[ATUALIZAÇÃO]: Llama2 de ajuste fino com Qlora será adicionado em breve!

Este projeto tem como objetivo gerar um título a partir do resumo fornecido para artigos acadêmicos. Os modelos foram ajustados com PEFT usando o conjunto de dados ARXIV. Dois modelos diferentes foram ajustados com Lora (Hu et al., 2021). Somente artigos na categoria de ciência da computação foram selecionados no conjunto de dados ARXIV . Esse número também foi reduzido devido à memória e aos limites de tempo. Os modelos ajustados estão disponíveis nos espaços Huggingface:

• Hugging Space Spaces Bart
• Espaços de Huggingface T5

O projeto inclui:

• Método de adaptação de baixa classificação (Lora)
• Parâmetro Eficiente Tuning Fine (PEFT)
• Treinamentos de modelos HuggingFace (T5-Base, Bart-Base)
• Métrica de avaliação da Rouge Score
• Avaliação de um tiro, tiro zero e adição de prompt de instrução
• Modelo de fusão e upload para Huggingface
• Rastreando toras, uso de memória, tempo decorrido para pré -processamento, treinamento, processos de avaliação, visualização de treinamento/perda de teste
• EDA e script para filtrar o conjunto de dados ARXIV apenas com artigos de ciência da computação (CS).
• Filtrar e converter o conjunto de dados .json para formato .csv

Bibliotecas e pacotes externos:

• Tocha
• Huggingface
• Transformadores
• Bitsandbytes
• Peft
• Acelerar
• Avalie (Rouge Score)
• Loralib
• Trl
• Pandas, Numpy, Matplotlib, TQDM, tempo

Parâmetros de treinamento e limitações

• 6000 amostras de treinamento, 1000 amostras de validação, 250 amostras de teste são filtradas do conjunto de dados.
• (O número de artigos relacionados ao CS é 299131. No entanto, um dos objetivos deste projeto é verificar a eficiência de pequenos LLMs com peft/lora. Portanto, são consideradas menos amostras de dados de treinamento e menos épocas de treinamento.)
• Os modelos são treinados para 6 épocas.
• Atenção Lora R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Resultados

Bart de ajuste fino

• Memória em cache: 11,2 GB
• Tempo de treinamento: 11423.89 s

T5 ajustado fino

• Cache de memória: 13,7 GB
• Tempo de treinamento: 9793.74 s

Saídas de BART ajustadas finas

	Título original	Título gerado
1	Circuitos quânticos para sistemas quânticos fortemente correlacionados	Simulação quântica de hamiltonianos fortemente correlacionados
2	Teko: redes neurais gráficas ricas em texto com conhecimento externo	Redes de gráficos ricos em texto com conhecimento externo
3	Carga: armazenamento compactado e efetivo de informações genômicas	Carga: Arquivamento comprimido para genômica
4	Controle de energia eficiente em termos de energia da comunicação de mmwave do solo de trem para	Eficiência energética da comunicação de mmwave do solo de trem para trens de alta velocidade
5	Uma pesquisa sobre preconceitos na pesquisa de aprendizado de máquina	Compreendendo as fontes e conseqüências do viés no aprendizado de máquina
6	SA-Unet: Atenção espacial U-Net para segmentação de vasos da retina	Atenção espacial U-net: atenção espacial para doenças relacionadas aos olhos
7	Um novo algoritmo heurístico para segmentação rápida	Um novo algoritmo heurístico para segmentação K
8	Progressão e desafios da IoT na assistência médica: uma breve revisão	Smart Healthcare and Healthcare: uma análise comparativa de cuidados de saúde e segurança inteligentes
9	FVC: uma nova estrutura para compressão de vídeo profunda no espaço de recursos	Compressão de vídeo em espaço de recurso para codificação de vídeo baseada em aprendizado

Capturas de tela

• Perda de treinamento/teste de Bart (6 épocas)

• T5 Treinamento/perda de teste (6 épocas)