Fine tuning an LLM using LoRA

微调an-llm using-lora

该存储库的灵感来自文章“微调大语言模型（LLM）”，并包含使用斯坦福情绪Treebank（SST-2）数据集和LORA（大型语言模型的低级改编）训练文本分类模型的代码。洛拉（Lora）是使语言模型更加适应性和高效的一种方式。洛拉没有再次训练整个模型，而是冻结了预训练的模型，并在每个模型层中添加了较小的可训练矩阵。这些矩阵有助于模型适应不同的任务，而无需更改所有参数。

目录

• 安装
• 用法
• 模型架构
• 训练
• 推理
• 参考

安装

在此存储库中使用代码之前，您需要安装所需的库。您可以通过运行以下命令来执行此操作：

 ! pip install datasets
! pip install transformers
! pip install peft
! pip install evaluate

这些命令将安装必要的Python库，用于使用数据集，变压器，LORA和评估指标。

用法

这是在此存储库中使用代码的方法：

1. 加载SST-2数据集：

   该代码使用拥抱面部datasets集库加载SST-2数据集。 SST-2由电影评论的句子组成，并带有情感标签注释。您可以在此处找到有关SST-2数据集的更多信息。

2. 定义Lora模型体系结构：

   该代码使用LORA技术来微调用于文本分类的预训练的语言模型。洛拉通过利用重量差异的低级别特性来有效地适应该模型。可以在代码中找到LORA的实现。

3. tokenize数据集：

   使用模型的令牌化数据集对数据集进行了令牌化，并且如果尚不存在，则添加了[PAD]之类的特殊令牌。

4. 训练洛拉模型：

   该代码定义了训练超参数，并使用提供的数据集训练洛拉适应的模型。可以在training_args变量中调整诸如学习率，批量规模和时期数量之类的培训论点。

5. 通过训练有素的洛拉模型推断：

   训练后，您可以使用训练有素的洛拉适应模型来推断新文本输入。该代码演示了如何加载模型并在示例句子列表中进行预测。

模型架构

该代码使用基于预训练的语言模型体系结构的文本分类模型。 Lora微调可有效地适应此预训练模型。洛拉技术利用了重量差异的低等级结构来提高适应性性能。

有关Lora技术的详细信息，您可以参考Lora纸。

训练

要训​​练洛拉适应的模型，请遵循以下步骤：

1. 安装所需的库如安装部分所述。

2. 定义您的培训数据集或使用提供的SST-2数据集。

3. 在代码中配置模型体系结构和超参数。

4. 运行培训代码，并且模型将使用数据集上的LORA技术进行微调。

推理

训练后，您可以使用训练有素的洛拉适应模型来推断新文本输入。为此：

1. 如代码中所示，加载训练有素的洛拉适应模型。

2. 使用模型的令牌将输入文本引形。

3. 将令牌化输入传递给模型以进行情感分类。

4. 该模型将预测输入文本是正面还是负面情绪。

参考

• SST-2数据集
• 洛拉纸

未经训练的模型预测

训练有素的模型预测