faq llm

電子商務常見問題解答聊天機器人使用參數有效的微調lora技術

概述

該存儲庫包含使用Lora Technique的參數有效調整來構建電子商務常見問題聊天機器人的代碼和資源。該項目旨在通過利用大型語言模型（LLM）並使用Falcon-7B模型採用微調方法來為電子商務網站開發聊天機器人。通過參數有效的微調（PEFT）和LORA（低級適應）技術進行微調，以增強模型的性能。

作者

• Bal Narendra Sapa-紐黑文大學 - 電子郵件
• Ajay Kumar Jagu-紐黑文大學 - 電子郵件

目錄

1. 介紹
2. 目標
3. 相關工作
4. 數據集
5. 方法論
6. 結果
7. 結論
8. 致謝
9. 部署
10. 代碼和資源
11. 參考

介紹

在快速的電子商務世界中，有效地處理客戶查詢至關重要。該項目介紹了一個聊天機器人解決方案，利用高級語言模型來自動對常見問題的回答。微調模型Falcon-7B在從Kaggle提取的自定義數據集上進行了培訓，並涉及電子商務域中的常見用戶查詢。

目標

1. 有效的客戶支持：通過自動化對常見問題的回答來簡化客戶支持。
2. 通過自動化節省的成本：通過對常規查詢的響應自動降低運營成本。
3. 增強資源分配：通過對常見問題解答自動響應來優化人力資源，使代理商可以專注於更複雜的問題。

相關工作

該項目建立在預先訓練的模型的基礎上，包括OpenAI的GPT模型和Meta的Llama型號。它還探索了IBM Watson Assistant和Ada Healthcare聊天機器人等現有聊天機器人。討論了抹布（檢索增強生成）與微調模型之間的比較。

數據集

來自Kaggle的數據集包含79個帶有問題和相應答案的樣本。該拆分包括67個用於訓練的樣本（85％）和12個樣品進行測試（15％）。

鏈接到Kaggle上的數據集

方法論

該方法涉及使用Falcon-7b模型，使用PEFT和LORA技術進行微調，並通過擁抱面部來利用諸如變形金剛和PEFT之類的關鍵庫。該過程包括數據集預處理，LORA適配器配置和模型培訓。

結果

該模型表明，各個時期的損失值降低，表明訓練趨勢是積極的。用於評估的BLEU評分展示了該模型在產生與預期結果一致的響應方面的熟練程度。

結論

該項目通過高級語言模型有助於增強電子商務中的客戶支持。儘管實現的結果是有希望的，但建議對較大的數據集進行進一步的實驗，並建議進行連續的模型改進。

致謝

致謝延伸到Falcon-7b模型的開發商，擁抱面孔社區，Kaggle託管數據集以及紐黑文大學的教職員工。

部署

已經開發了一個簡化的應用程序供本地使用，需要具有至少16千兆視頻RAM（VRAM）的GPU，以實現最佳性能。該存儲庫中的應用程序。在spartlit-app dir中結帳

代碼和資源

• 擁抱面部模型中心的微調模型：鏈接到擁抱面部模型
• 演練的Kaggle筆記本：鏈接到Kaggle筆記本

隨意探索，實驗並為進一步的改進做出貢獻。

參考

1. 語言模型是很少的學習者-Tom B. Brown等人（2020年）
2. Llama 2：開放基礎和微調聊天模型（2023）
3. 幾乎沒有彈藥的參數效率微調比在文化中的學習更好，更便宜-Haokun Liu et al（2022）
4. 洛拉：大語言模型的低級適應-Edward J Hu等（2021）
5. 吟遊詩人的概述：生成AI的早期實驗-James Monyika（2023）
6. IBM Watson助理
7. 在PEFT上擁抱臉博客