LoraCSE

? Loracse: apprentissage contrastif de l'incorporation des phrases à l'aide de Lora

Projet final des EEC 487: Introduction au traitement du langage naturel (UMICH)

Autor: Yilin Jia, Sikai Li, Yuqi Mai

Date: 18 avril 2023

Instructions

Ce projet consiste à évaluer les performances du modèle Loracse à travers une série d'expériences. Voici comment accéder et exécuter le code:

• Ouvrez le cahier loracse.ipynb pour afficher et exécuter le code pour toutes les expériences.
• Suivez les instructions fournies dans le cahier pour exécuter les expériences à l'aide de votre GPU et afficher les résultats.
• Après avoir exécuté les expériences, reportez-vous au fichier Loracse.pdf qui l'accompagne pour une analyse détaillée des résultats.

L'analyse fournie dans loracse.pdf offre un aperçu des performances du modèle Loracse et de sa capacité à gérer différents types de données. Utilisez ces informations pour améliorer la précision du modèle pour votre cas d'utilisation spécifique.

Performance

Modèle	Avg. STS
sup-loracse-base (taille du lot 512)	81,55
Sup-Loracse-Roberta-base (Taille du lot 512)	82.49
Sup-Loracse-Roberta-Large (Taille du lot 375)	84.69

Exigences

Pour exécuter l'expérience, qui consiste à traiter de grandes quantités de données avec une taille de lot de 512, votre GPU doit avoir au moins 40 Go de RAM. Voici les GPU compatibles:

• V100
• A6000
• A40
• RTX3090 (quatre requis)

Dans cette expérience, nous utilisons quatre A40.

Remerciements

Nous tenons à reconnaître les projets suivants pour leurs contributions à notre travail:

• SIMCSE: Notre code a beaucoup appris de l'implémentation et des idées présentées dans ce référentiel.
• PEFT: Nous avons utilisé certaines des fonctionnalités fournies par cette bibliothèque pour améliorer les performances de notre code.

Nous sommes reconnaissants aux contributeurs de ces projets pour avoir partagé leurs connaissances et leur expertise avec la communauté.

Travail futur

• Apprenez et utilisez Adalora pour régler.
• Accélérer la formation et l'évaluation.
• Essayez de régler Debertv3.
• Téléchargez le modèle sur HuggingFace.