LLM Recommendation Systems

llm-recmendation-systems

基于文本建议的微调LLM

该项目探讨了专门针对基于文本建议的精细调整大语言模型（LLM）的潜力，旨在提高准确性和用户满意度。它引入了一种新颖的及时机制，该机制将关系信息转换为自然语言文本，从而使LLM能够解释用户互动并提出更明智的建议。

项目概述

要点：

1. 利用2018年亚马逊评论数据集开发了个性化的产品推荐系统。
2. 实施并比较了两种大语言模型的性能：Mistral-7b和Tinyllama。
3. 应用的高级技术（例如LORA（低级适应性）和Qlora（量化Lora），用于有效的模型微调。
4. 开发了一种新颖的提示策略，将用户互动历史记录转变为模型的自然语言输入。
5. 使用微调Tinyllama型号预测用户的下一个产品购买时，获得了超过98％的精度。
6. 证明较小的专业模型在正确调整时可以胜过特定任务的较大模型。
7. 进行了误差分析，以确定不正确的预测模式和潜在的改进领域。
8. 探索了建议系统中模型大小，计算效率和预测准确性之间的平衡。

该项目着重于使用多样化且广泛的数据集证明针对建议任务的微调LLM的效率。实施包括以下阶段：

1. 数据提取和预处理：

   • 提取亚马逊审查数据的子集并将其转换为数据范围。
   • 删除了不必要的列。
   • 用不足的购买历史过滤了用户。
   • 将剩余数据转换为提示，形成了LLM的输入。

2. 及时工程：

   • 探索了各种提示技术。
   • 在每个提示符下定居三部分结构：指令，输入详细信息和地面真相输出。
   • 该结构为模型提供了明确的任务，相关信息和所需的输出格式。

3. 模型实施：

   • 为预训练的模型和自定义工具利用了不舒服的AI和拥抱面库。
   • 被认为是Qlora，这是一种改善模型性能的技术。
   • 创建了合并的SFTTrainer和TrainingArguments对象，以集中训练期间的超参数调整。