LoraCSE

loracse：使用洛拉（Lora）嵌入句子的對比度學習

EECS 487的最終項目：自然語言處理簡介（Umich）

自動：Yilin Jia，Sikai Li，Yuqi Mai

日期：2023年4月18日

指示

該項目涉及通過一系列實驗評估Loracse模型的性能。這是訪問和運行代碼的方法：

• 打開loracse.ipynb筆記本以查看並運行所有實驗的代碼。
• 按照筆記本中提供的說明使用您的GPU運行實驗並查看結果。
• 運行實驗後，請參閱隨附的loracse.pdf文件以詳細分析結果。

loracse.pdf中提供的分析提供了有關Loracse模型性能及其處理不同類型數據的能力的見解。使用此信息來提高模型的特定用例的準確性。

表現

模型	avg。 sts
sup-loracse-bert-base（批次尺寸512）	81.55
sup-loracse-roberta-base（批次512）	82.49
sup-loracse-roberta-large（批次375）	84.69

要求

要運行實驗，該實驗涉及處理大量數據，批量大小為512，您的GPU必須至少具有40GB的RAM。這是兼容的GPU：

• V100
• A6000
• A40
• RTX3090（需要四個）

在此實驗中，我們使用四個A40。

致謝

我們要感謝以下項目對我們的工作的貢獻：

• SIMCSE：我們的代碼從此存儲庫中提出的實現和想法中學到了很多東西。
• PEFT：我們使用了該庫提供的一些功能來提高代碼的性能。

我們感謝這些項目的貢獻者與社區分享他們的知識和專業知識。

未來的工作

• 學習和使用Adalora調整。
• 加速培訓和評估。
• 嘗試調整Debertv3。
• 將模型上傳到擁抱面。