LoraCSE

? Loracse: Kontrastives Lernen von Satzeinbettung mit Lora

Endgültiges Projekt von EECs 487: Einführung in die Verarbeitung natürlicher Sprache (UMich)

Autor: Yilin Jia, Sikai Li, Yuqi Mai

Datum: 18. April 2023

Anweisungen

Dieses Projekt umfasst die Bewertung der Leistung des Loracse -Modells anhand einer Reihe von Experimenten. Hier erfahren Sie, wie Sie auf den Code zugreifen und ausführen:

• Öffnen Sie das Notebook loracse.ipynb, um den Code für alle Experimente anzuzeigen und auszuführen.
• Befolgen Sie die im Notizbuch angegebenen Anweisungen, um die Experimente mit Ihrer GPU auszuführen und die Ergebnisse anzuzeigen.
• Nach dem Ausführen der Experimente finden Sie in der begleitenden Loracse.pdf -Datei eine detaillierte Analyse der Ergebnisse.

Die in loracse.pdf bereitgestellte Analyse bietet Einblicke in die Leistung des Loracse -Modells und deren Fähigkeit, verschiedene Arten von Daten zu bewältigen. Verwenden Sie diese Informationen, um die Genauigkeit des Modells für Ihren spezifischen Anwendungsfall zu verbessern.

Leistung

Modell	Avg. Sts
Sup-Loracse-Bert-Base (Chargengröße 512)	81.55
Sup-Loracse-Roberta-Base (Chargengröße 512)	82.49
SUP-LORACSE-ROBERTA-LARGE (Chargengröße 375)	84.69

Anforderungen

Um das Experiment durchzuführen, bei dem große Datenmengen mit einer Chargengröße von 512 verarbeitet werden, muss Ihre GPU mindestens 40 GB RAM haben. Hier sind der kompatible GPUs:

• V100
• A6000
• A40
• RTX3090 (vier erforderliche)

In diesem Experiment verwenden wir vier A40.

Anerkennung

Wir möchten die folgenden Projekte für ihre Beiträge zu unserer Arbeit anerkennen:

• SIMCSE: Unser Code hat viel aus der Implementierung und den in diesem Repository vorgestellten Ideen gelernt.
• PEFT: Wir haben einige der von dieser Bibliothek bereitgestellten Funktionen verwendet, um die Leistung unseres Codes zu verbessern.

Wir sind den Mitwirkenden dieser Projekte dankbar, dass sie ihr Wissen und ihr Fachwissen mit der Community teilen.

Zukünftige Arbeit

• Lernen und verwenden Sie Adalora, um sich einzustellen.
• Beschleunigen Sie die Ausbildung und Bewertung.
• Versuchen Sie, Debertv3 zu stimmen.
• Laden Sie das Modell in das Umarmungen hoch.