BYOSC Build Your Own Scalable Chatbots

亲本构建自己的可估计案件

介绍

在准备大学考试时，事实证明，有伴侣对于发现知识差距并阐明了对课堂上治疗的主题的具体疑问至关重要。虽然基于Chatgpt，Phind和Clod等LLM的聊天机器人已经为学生提供帮助，但他们无法为学生的大学课程提供讲座/特定于物质的帮助。我们建议创建一个系统，以微调特定课程的特定材料的聊天机器人。因此，我们将为典型的大学生的课程创建学习伙伴，能够回答疑问，引起问题等等！

可以在此链接上测试聊天机器人。

该项目的隐式范围（以及整个课程的）是建立一个可扩展的基础架构，该基础架构可以托管我们的MLOP。因此，传统的整体ML管道分为三个不同的过程：特征管道，训练管道，推理管道。

功能管道

功能管道负责：

• 从公共共享文件夹下载新的可用文件
• 生成文件的成绩单
• 将新成绩单上传到Hopsworks
• 使用GPT 3.5 API生成用于微调基础模型的有效指令集
• 将此类指令设置为Hopsworks

运行功能管道

运行功能管道有几个选项：

• 执行FeaturePipeline/Reading.ipynb笔记本
• 使用python3 FeaturePipeline/FeaturePipeline.py FeaturePipeline/FeaturePipeline.py执行felemanPipeline/firnalpipeline.py

后者的副本在文件FeaturePipeline/FeaturePipeline_modal.py中进行了稍作修改，以使其在模态托管服务上使用modal [run|deploy] FeaturePipeline/FeaturePipeline.py

培训管道

培训管道负责：

• 从Hopsworks检索指令集
• 使用PEFT和LORA技术设置教练实例
• 运行训练
• 将结果上传到拥抱面

运行训练管道

要执行培训管道，请运行笔记本TrainingPipeline/FineTuning.ipynb

推理管道

推理管道负责：

• 使用shatlit + langchain运行聊天机器人接口
• 从Hopsworks下载材料的成绩单
• 使用句子Bert的原始材料的计算嵌入
• 使用句子bert计算用户问题的嵌入
• 检索特定问题的最佳匹配材料
• 使用抹布来增强聊天机器人的响应

运行推理管道

要执行推理管道，请运行streamlit run chatbot_app.py

结论

尽管在实验上，微调过程不足以使基础模型始终如一地比非调节的模型更好，但启用了抹布的聊天机器人不仅能够在原始材料之后正确回答用户的问题，而且还可以（主要是）正确的参考，以从何处获得答案，用于研究大学考试的基本功能！

未来的工作

由于缺乏使用的材料和计算资源，微调不如预期的。作为未来的工作，我们希望改善知识萃取过程，并使用更多的计算能力来解决报告中显示的问题。