BYOSC Build Your Own Scalable Chatbots

親本構建自己的可估計案件

介紹

在準備大學考試時，事實證明，有伴侶對於發現知識差距並闡明了對課堂上治療的主題的具體疑問至關重要。雖然基於Chatgpt，Phind和Clod等LLM的聊天機器人已經為學生提供幫助，但他們無法為學生的大學課程提供講座/特定於物質的幫助。我們建議創建一個系統，以微調特定課程的特定材料的聊天機器人。因此，我們將為典型的大學生的課程創建學習夥伴，能夠回答疑問，引起問題等等！

可以在此鏈接上測試聊天機器人。

該項目的隱式範圍（以及整個課程的）是建立一個可擴展的基礎架構，該基礎架構可以託管我們的MLOP。因此，傳統的整體ML管道分為三個不同的過程：特徵管道，訓練管道，推理管道。

功能管道

功能管道負責：

• 從公共共享文件夾下載新的可用文件
• 生成文件的成績單
• 將新成績單上傳到Hopsworks
• 使用GPT 3.5 API生成用於微調基礎模型的有效指令集
• 將此類指令設置為Hopsworks

運行功能管道

運行功能管道有幾個選項：

• 執行FeaturePipeline/Reading.ipynb筆記本
• 使用python3 FeaturePipeline/FeaturePipeline.py FeaturePipeline/FeaturePipeline.py執行felemanPipeline/firnalpipeline.py

後者的副本在文件FeaturePipeline/FeaturePipeline_modal.py中進行了稍作修改，以使其在模態託管服務上使用modal [run|deploy] FeaturePipeline/FeaturePipeline.py

培訓管道

培訓管道負責：

• 從Hopsworks檢索指令集
• 使用PEFT和LORA技術設置教練實例
• 運行訓練
• 將結果上傳到擁抱面

運行訓練管道

要執行培訓管道，請運行筆記本TrainingPipeline/FineTuning.ipynb

推理管道

推理管道負責：

• 使用shatlit + langchain運行聊天機器人接口
• 從Hopsworks下載材料的成績單
• 使用句子Bert的原始材料的計算嵌入
• 使用句子bert計算用戶問題的嵌入
• 檢索特定問題的最佳匹配材料
• 使用抹布來增強聊天機器人的響應

運行推理管道

要執行推理管道，請運行streamlit run chatbot_app.py

結論

儘管在實驗上，微調過程不足以使基礎模型始終如一地比非調節的模型更好，但啟用了抹布的聊天機器人不僅能夠在原始材料之後正確回答用戶的問題，而且還可以（主要是）正確的參考，以從何處獲得答案，用於研究大學考試的基本功能！

未來的工作

由於缺乏使用的材料和計算資源，微調不如預期的。作為未來的工作，我們希望改善知識萃取過程，並使用更多的計算能力來解決報告中顯示的問題。