faq llm

电子商务常见问题解答聊天机器人使用参数有效的微调lora技术

概述

该存储库包含使用Lora Technique的参数有效调整来构建电子商务常见问题聊天机器人的代码和资源。该项目旨在通过利用大型语言模型（LLM）并使用Falcon-7B模型采用微调方法来为电子商务网站开发聊天机器人。通过参数有效的微调（PEFT）和LORA（低级适应）技术进行微调，以增强模型的性能。

作者

• Bal Narendra Sapa-纽黑文大学 - 电子邮件
• Ajay Kumar Jagu-纽黑文大学 - 电子邮件

目录

1. 介绍
2. 目标
3. 相关工作
4. 数据集
5. 方法论
6. 结果
7. 结论
8. 致谢
9. 部署
10. 代码和资源
11. 参考

介绍

在快速的电子商务世界中，有效地处理客户查询至关重要。该项目介绍了一个聊天机器人解决方案，利用高级语言模型来自动对常见问题的回答。微调模型Falcon-7B在从Kaggle提取的自定义数据集上进行了培训，并涉及电子商务域中的常见用户查询。

目标

1. 有效的客户支持：通过自动化对常见问题的回答来简化客户支持。
2. 通过自动化节省的成本：通过对常规查询的响应自动降低运营成本。
3. 增强资源分配：通过对常见问题解答自动响应来优化人力资源，使代理商可以专注于更复杂的问题。

相关工作

该项目建立在预先训练的模型的基础上，包括OpenAI的GPT模型和Meta的Llama型号。它还探索了IBM Watson Assistant和Ada Healthcare聊天机器人等现有聊天机器人。讨论了抹布（检索增强生成）与微调模型之间的比较。

数据集

来自Kaggle的数据集包含79个带有问题和相应答案的样本。该拆分包括67个用于训练的样本（85％）和12个样品进行测试（15％）。

链接到Kaggle上的数据集

方法论

该方法涉及使用Falcon-7b模型，使用PEFT和LORA技术进行微调，并通过拥抱面部来利用诸如变形金刚和PEFT之类的关键库。该过程包括数据集预处理，LORA适配器配置和模型培训。

结果

该模型表明，各个时期的损失值降低，表明训练趋势是积极的。用于评估的BLEU评分展示了该模型在产生与预期结果一致的响应方面的熟练程度。

结论

该项目通过高级语言模型有助于增强电子商务中的客户支持。尽管实现的结果是有希望的，但建议对较大的数据集进行进一步的实验，并建议进行连续的模型改进。

致谢

致谢延伸到Falcon-7b模型的开发商，拥抱面孔社区，Kaggle托管数据集以及纽黑文大学的教职员工。

部署

已经开发了一个简化的应用程序供本地使用，需要具有至少16千兆视频RAM（VRAM）的GPU，以实现最佳性能。该存储库中的应用程序。在spartlit-app dir中结帐

代码和资源

• 拥抱面部模型中心的微调模型：链接到拥抱面部模型
• 演练的Kaggle笔记本：链接到Kaggle笔记本

随意探索，实验并为进一步的改进做出贡献。

参考

1. 语言模型是很少的学习者-Tom B. Brown等人（2020年）
2. Llama 2：开放基础和微调聊天模型（2023）
3. 几乎没有弹药的参数效率微调比在文化中的学习更好，更便宜-Haokun Liu et al（2022）
4. 洛拉：大语言模型的低级适应-Edward J Hu等（2021）
5. 吟游诗人的概述：生成AI的早期实验-James Monyika（2023）
6. IBM Watson助理
7. 在PEFT上拥抱脸博客