Title Generator with LLM PEFT

LLM＆PEFT（LORA）的标题生成器

[更新]：与Qlora的微调Llama2很快将添加！

该项目旨在从给定的学术文章摘要中产生标题。使用ARXIV数据集对模型进行微调。用洛拉调整了两个不同的模型（Hu等，2021）。 ARXIV数据集中只选择了计算机科学类别中的文章。由于内存和时间限制，此数字也已减少。可以通过拥抱面空间获得微调型号：

• 拥抱面积巴特
• 拥抱面太空T5

该项目包括：

• 低级适应法（LORA）
• 参数有效的微调（PEFT）
• 拥抱面模型培训（T5-Base，Bart-Base）
• 评估Rouge Score评分
• 一击，零拍的评估和提示提示的添加
• 模型合并并上传到拥抱面
• 跟踪日志，内存使用情况，经过的时间进行预处理，培训，评估过程，训练/测试损失的可视化
• EDA和脚本仅使用计算机科学（CS）文章过滤ARXIV数据集。
• 过滤和转换.json数据集为.csv格式

外部库和软件包：

• 火炬
• 拥抱面
• 变压器
• bitsandbytes
• peft
• 加速
• 评估（胭脂分数）
• 洛拉布
• trl
• 熊猫，numpy，matplotlib，tqdm，时间

培训参数和限制

• 从数据集中过滤6000个培训样本，1000个验证样本，250个测试样品被过滤。
• （相关论文的数量为299131。但是，该项目的目的之一是检查使用PEFT/LORA的小LLM的效率。因此，考虑的培训数据样本较少，培训时期较少。）
• 模型经过6个时期的训练。
• lora注意R=8 ， alpha=64 ， dropout=0.01 ， learning rate=2e-4 ， paged_adamW_32bit optimizer

结果

微调的巴特

• 记忆缓存：11.2 GB
• 培训时间：11423.89 S

微调T5

• 记忆缓存：13.7 GB
• 培训时间：9793.74 S

微调的巴特输出

	原始标题	生成的标题
1	与量子系统密切相关的量子电路	密切相关的多体哈密顿量的量子模拟
2	Teko：具有外部知识的文本丰富的图形神经网络	文本丰富的图形神经网络具有外部知识
3	货物：基因组信息的有效无格式压缩存储	货物：基因组学的压缩归档
4	火车地面MMWave通信的节能功率控制	高速火车的火车地面MMWave通信的能源效率
5	关于机器学习研究偏见的调查	了解机器学习中偏见的来源和后果
6	SA-UNET：视网膜血管分割的空间注意U-NET	空间注意力U-NET：与眼睛有关疾病的空间关注
7	快速K分段的一种新的启发式算法	一种新颖的启发式算法，用于K段
8	IOT在医疗保健中的进步和挑战：简短的评论	智能医疗保健和医疗保健：智能医疗保健和安全的比较分析
9	FVC：在特征空间中进行深视频压缩的新框架	功能空间视频压缩，用于基于学习的视频编码

屏幕截图

• 巴特训练/测试损失（6个时代）

• T5训练/测试损失（6个时代）