LoraCSE

loracse：使用洛拉（Lora）嵌入句子的对比度学习

EECS 487的最终项目：自然语言处理简介（Umich）

自动：Yilin Jia，Sikai Li，Yuqi Mai

日期：2023年4月18日

指示

该项目涉及通过一系列实验评估Loracse模型的性能。这是访问和运行代码的方法：

• 打开loracse.ipynb笔记本以查看并运行所有实验的代码。
• 按照笔记本中提供的说明使用您的GPU运行实验并查看结果。
• 运行实验后，请参阅随附的loracse.pdf文件以详细分析结果。

loracse.pdf中提供的分析提供了有关Loracse模型性能及其处理不同类型数据的能力的见解。使用此信息来提高模型的特定用例的准确性。

表现

模型	avg。 sts
sup-loracse-bert-base（批次尺寸512）	81.55
sup-loracse-roberta-base（批次512）	82.49
sup-loracse-roberta-large（批次375）	84.69

要求

要运行实验，该实验涉及处理大量数据，批量大小为512，您的GPU必须至少具有40GB的RAM。这是兼容的GPU：

• V100
• A6000
• A40
• RTX3090（需要四个）

在此实验中，我们使用四个A40。

致谢

我们要感谢以下项目对我们的工作的贡献：

• SIMCSE：我们的代码从此存储库中提出的实现和想法中学到了很多东西。
• PEFT：我们使用了该库提供的一些功能来提高代码的性能。

我们感谢这些项目的贡献者与社区分享他们的知识和专业知识。

未来的工作

• 学习和使用Adalora调整。
• 加速培训和评估。
• 尝试调整Debertv3。
• 将模型上传到拥抱面。