Disha - Chatbot IIIT NAGPUR
Bem -vindo ao repositório Disha Chatbot Github! Este projeto é uma solução inovadora projetada para otimizar a experiência do usuário para navegar no site IIIT NAGPUR. Construído com aprendizado de máquina de ponta (ML), processamento de linguagem natural (PNL) e grandes modelos de idiomas (LLMS), Disha fornece respostas instantâneas e amigáveis a uma variedade de consultas.
Características
Interação semelhante a humano
- Permite conversas naturais e intuitivas.
- Fornece respostas precisas e contextuais para consultas sobre o IIIT NAGPUR.
Entrada de voz
Processamento e estruturação de dados
- Extrai texto e imagens do site da IIIT NAGPUR usando OCR.
- Estrutura os dados em um formato JSON abrangente para treinamento.
Respostas unificadas e precisas
- Combina LLMs ajustados e geração de recuperação (RAG) para respostas precisas.
- As respostas são verificadas para obter a máxima confiabilidade.
Métricas de avaliação
- Mede a qualidade da produção usando bleu, rouge-l, similaridade semântica e métricas de pontuação humana.
Tecnologias -chave
Modelos de aprendizado de máquina
- LLAMA-3.2-1B : Tuneado com os valores de classificação R-8, R-16, R-32 e PHI-3.5.
- Phi-3.5-mini
- Técnicas de PEFT : ajuste fino eficiente com Lora e Qlora.
Geração de recuperação usededed (RAG)
- Recupera dados precisos e contextualmente relevantes de bancos de dados externos.
- Utiliza:
- Pinecone : banco de dados vetorial para pesquisa e recuperação otimizadas.
- Langchain : Para pipelines de dados sem costura.
- Google Gemini API : fornece respostas precisas e resumidas.
Tabela de métricas de avaliação
| Modelo | Bleu | Rouge-l | Similaridade semântica | Avaliação humana | Parâmetros treinados |
|---|
| Llama-3.2-1b (r = 8) | 0,925700 | 0,964550 | 0.998106 | 0,934744 | 12.156.928 |
| Llama-3.2-1b (r = 16) | 0,925950 | 0,964757 | 0.998106 | 0,942012 | 24.313.856 |
| Llama-3.2-1b (r = 32) | 0,924404 | 0,963656 | 0,998096 | 0,946338 | 48.627.712 |
| Phi 3.5 mini | 0,785048 | 0,886750 | 0,998205 | 0,852504 | 29.884.416 |
| Pano | 0,964902 | 0,996087 | 0,995800 | 0,967379 | 0 |
Modelos treinados
- Llama-3.2-1b r = 8 link
- Llama-3.2-1b r = 16 link
- Llama-3.2-1b r = 32 link
- Phi-3.5-mini link
Interface da web - rosto abraçando
Visão geral da arquitetura
Inteligência unificada
- Integra LLMs de trapo e ajustado para um desempenho robusto.
Preservação do contexto
- Garante que todos os detalhes críticos estejam incluídos nas respostas.
Fluxo natural
- Oferece interações de conversação e amigáveis.
Planos futuros
- Expandir o suporte da linguagem além do hindi e do inglês.
- Aumente a escalabilidade para conjuntos de dados maiores e consultas mais complexas.
- Integre métricas de avaliação adicionais para melhorar a precisão.
Sinta -se à vontade para bifurcar, contribuir e aprimorar a Disha para aplicações mais amplas!
