Title Generator with LLM PEFT

Générateur de titres avec LLM & PEFT (LORA)

[MISE À JOUR]: LLAMA2 FINEDED avec QLORA sera ajouté bientôt!

Ce projet vise à générer un titre à partir du résumé donné pour les articles académiques. Les modèles ont été fins avec PEFT à l'aide de l'ensemble de données ArXIV. Deux modèles différents ont été réglés avec LORA (Hu et al., 2021). Seuls les articles de la catégorie informatique ont été sélectionnés dans l' ensemble de données ArXIV . Ce nombre a également été réduit en raison de la mémoire et des délais. Les modèles affinés sont disponibles via des espaces HuggingFace:

• Embrasing Face Spaces Bart
• Espaces de câlins T5

Le projet comprend:

• Méthode d'adaptation à faible rang (LORA)
• Paramètre Fine Tuning (PEFT)
• HuggingFace Model Trainings (T5-base, Bart-base)
• Métrique d'évaluation du Rouge Score
• Évaluation à un coup, zéro coup et ajout d'une invite d'instructions
• Modèle de fusion et de téléchargement sur HuggingFace
• Les journaux de suivi, l'utilisation de la mémoire, le temps écoulé pour le prétraitement, la formation, les processus d'évaluation, la visualisation de la perte de formation / test
• EDA et script pour filtrer l'ensemble de données ArXIV avec uniquement des articles informatiques (CS).
• Filtrage et conversion de données .json au format .csv

Bibliothèques et packages externes:

• Torche
• Étreinte
• Transformateurs
• Bitsandbytes
• Pivot
• Accélérer
• Évaluer (score rouge)
• Loralib
• Trl
• Pandas, Numpy, Matplotlib, TQDM, Time

Paramètres de formation et limitations

• 6000 échantillons de formation, 1000 échantillons de validation, 250 échantillons de test sont filtrés à partir de l'ensemble de données.
• (Le nombre d'articles liés à CS est 299131. Cependant, l'un des objectifs de ce projet est de vérifier l'efficacité des petits LLM avec PEFT / LORA. Par conséquent, moins les échantillons de données de formation et moins d'époches de formation sont considérés.)
• Les modèles sont formés pour 6 époques.
• Lora Attention R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Résultats

Bart de réglage fin

• Mémoire mise en cache: 11,2 Go
• Temps de formation: 11423.89 s

T5 affiné T5

• Mémoire mise en cache: 13,7 Go
• Temps de formation: 9793.74 s

Sorties BART affinées

	Titre original	Titre généré
1	Circuits quantiques pour les systèmes quantiques fortement corrélés	Simulation quantique de hamiltoniens à plusieurs corps fortement corrélés
2	Teko: Réseaux de neurones riches	Réseaux de neurones du graphique riche en texte avec connaissances externes
3	Cargo: Stockage comprimé sans format efficace des informations génomiques	Cargo: archivage comprimé pour la génomique
4	Contrôle d'énergie économe en énergie de la communication MMWAVE du terrain pour	Efficacité énergétique de la communication MMWAVE de trains pour les trains à grande vitesse
5	Une enquête sur les biais dans la recherche sur l'apprentissage automatique	Comprendre les sources et les conséquences du biais dans l'apprentissage automatique
6	SA-UNET: Spatial Attention U-Net pour la segmentation des vaisseaux rétiniens	Attention spatiale U-net: attention spatiale pour les maladies liées aux yeux
7	Un nouvel algorithme heuristique pour une segmentation K rapide	Un nouvel algorithme heuristique pour la segmentation K
8	Progression et défis de l'IoT dans les soins de santé: une courte revue	Smart Healthcare and Healthcare: une analyse comparative des soins de santé et de la sécurité intelligents
9	FVC: un nouveau cadre vers une compression vidéo profonde dans l'espace des fonctionnalités	Compression vidéo d'espace de fonctionnalité pour le codage vidéo basé sur l'apprentissage

Captures d'écran

• Perte de formation / test BART (6 époques)

• Perte de formation / test T5 (6 époques)