Disha_Chatbot_IIITN

DISHA-聊天機器人IIIT NAGPUR

歡迎來到Disha Chatbot GitHub存儲庫！該項目是一種創新的解決方案，旨在簡化用於瀏覽IIIT Nagpur網站的用戶體驗。 Disha建立在尖端的機器學習（ML），自然語言處理（NLP）和大語言模型（LLMS）的基礎上，對各種查詢提供了即時，用戶友好的響應。

---

特徵

人類的相互作用

• 實現自然和直觀的對話。
• 為IIIT NAGPUR提供了準確和上下文的答案。

語音輸入

• Openai-低語 - 小男人

數據處理和結構

• 使用OCR從IIIT Nagpur網站上提取文本和圖像。
• 將數據構成綜合的JSON格式進行培訓。

統一和準確的響應

• 結合了微調的LLMS和檢索功能的生成（RAG），以獲得精確的答案。
• 響應已驗證以獲得最大的可靠性。

評估指標

• 使用BLEU，Rouge-L，語義相似性和人類評分指標來衡量輸出質量。

---

關鍵技術

機器學習模型

• Llama-3.2-1b ：用等級值R-8，R-16，R-32和PHI-3.5進行微調。
• Phi-3.5-Mini
• PEFT技術：使用Lora和Qlora進行有效的微調。

檢索授權一代（RAG）

• 從外部數據庫中檢索準確的，上下文相關的數據。
• 利用：
  • Pinecone ：用於優化搜索和檢索的矢量數據庫。
  • Langchain ：用於無縫數據管道。
  • Google Gemini API ：提供準確的總結答案。

---

評估指標表

模型	bleu	胭脂-l	語義相似性	人類評估	訓練有素的參數
Llama-3.2-1b（r = 8）	0.925700	0.964550	0.998106	0.934744	12,156,928
Llama-3.2-1b（r = 16）	0.925950	0.964757	0.998106	0.942012	24,313,856
Llama-3.2-1b（r = 32）	0.924404	0.963656	0.998096	0.946338	48,627,712
Phi 3.5 mini	0.785048	0.886750	0.998205	0.852504	29,884,416
抹布	0.964902	0.996087	0.995800	0.967379	0

---

訓練有素的模型

• Llama-3.2-1b r = 8鏈接
• Llama-3.2-1b r = 16鏈接
• Llama-3.2-1b r = 32鏈接
• PHI-3.5-Mini鏈接

---

網絡界面 - 擁抱臉

---

體系結構概述

統一的情報

• 集成了抹布和微調的LLM，以進行出色的性能。

上下文保存

• 確保所有關鍵細節都包含在響應中。

自然流

• 提供用戶友好的對話交互。

---

未來計劃

• 將語言支持擴展到印地語和英語之外。
• 提高較大數據集和更複雜查詢的可擴展性。
• 整合其他評估指標以提高準確性。

---

隨意進行分叉，貢獻並增強更廣泛應用的呼吸！