Disha_Chatbot_IIITN

DISHA-聊天机器人IIIT NAGPUR

欢迎来到Disha Chatbot GitHub存储库！该项目是一种创新的解决方案，旨在简化用于浏览IIIT Nagpur网站的用户体验。 Disha建立在尖端的机器学习（ML），自然语言处理（NLP）和大语言模型（LLMS）的基础上，对各种查询提供了即时，用户友好的响应。

---

特征

人类的相互作用

• 实现自然和直观的对话。
• 为IIIT NAGPUR提供了准确和上下文的答案。

语音输入

• Openai-低语 - 小男人

数据处理和结构

• 使用OCR从IIIT Nagpur网站上提取文本和图像。
• 将数据构成综合的JSON格式进行培训。

统一和准确的响应

• 结合了微调的LLMS和检索功能的生成（RAG），以获得精确的答案。
• 响应已验证以获得最大的可靠性。

评估指标

• 使用BLEU，Rouge-L，语义相似性和人类评分指标来衡量输出质量。

---

关键技术

机器学习模型

• Llama-3.2-1b ：用等级值R-8，R-16，R-32和PHI-3.5进行微调。
• Phi-3.5-Mini
• PEFT技术：使用Lora和Qlora进行有效的微调。

检索授权一代（RAG）

• 从外部数据库中检索准确的，上下文相关的数据。
• 利用：
  • Pinecone ：用于优化搜索和检索的矢量数据库。
  • Langchain ：用于无缝数据管道。
  • Google Gemini API ：提供准确的总结答案。

---

评估指标表

模型	bleu	胭脂-l	语义相似性	人类评估	训练有素的参数
Llama-3.2-1b（r = 8）	0.925700	0.964550	0.998106	0.934744	12,156,928
Llama-3.2-1b（r = 16）	0.925950	0.964757	0.998106	0.942012	24,313,856
Llama-3.2-1b（r = 32）	0.924404	0.963656	0.998096	0.946338	48,627,712
Phi 3.5 mini	0.785048	0.886750	0.998205	0.852504	29,884,416
抹布	0.964902	0.996087	0.995800	0.967379	0

---

训练有素的模型

• Llama-3.2-1b r = 8链接
• Llama-3.2-1b r = 16链接
• Llama-3.2-1b r = 32链接
• PHI-3.5-Mini链接

---

网络界面 - 拥抱脸

---

体系结构概述

统一的情报

• 集成了抹布和微调的LLM，以进行出色的性能。

上下文保存

• 确保所有关键细节都包含在响应中。

自然流

• 提供用户友好的对话交互。

---

未来计划

• 将语言支持扩展到印地语和英语之外。
• 提高较大数据集和更复杂查询的可扩展性。
• 整合其他评估指标以提高准确性。

---

随意进行分叉，贡献并增强更广泛应用的呼吸！