Disha - chatbot iiit nagpur
¡Bienvenido al repositorio de Github de chatbot Disha! Este proyecto es una solución innovadora diseñada para optimizar la experiencia del usuario para navegar por el sitio web IIIT Nagpur. Construido con aprendizaje automático de vanguardia (ML), procesamiento del lenguaje natural (PNL) y modelos de idiomas grandes (LLM), Disla proporciona respuestas instantáneas y fáciles de usar a una variedad de consultas.
Características
Interacción humana
- Habilita conversaciones naturales e intuitivas.
- Proporciona respuestas precisas y contextuales a consultas sobre IIIT Nagpur.
Entrada de voz
Procesamiento y estructuración de datos
- Extrae texto e imágenes del sitio web de IIIT Nagpur utilizando OCR.
- Estructura datos en un formato JSON integral para el entrenamiento.
Respuestas unificadas y precisas
- Combina LLMS ajustados y generación de recuperación aumentada (RAG) para respuestas precisas.
- Las respuestas se verifican para la máxima fiabilidad.
Métricas de evaluación
- Mide la calidad de la salida utilizando Bleu, Rouge-L, similitud semántica y métricas de puntaje humano.
Tecnologías clave
Modelos de aprendizaje automático
- Llama-3.2-1b : ajustado con valores de rango R-8, R-16, R-32 y PHI-3.5.
- Phi-3.5-Mini
- Técnicas PEFT : ajuste fino eficiente con Lora y Qlora.
Generación de recuperación de generación (trapo)
- Recupera datos precisos y contextualmente relevantes de bases de datos externas.
- Utiliza:
- Pinecone : Base de datos vectorial para búsqueda y recuperación optimizadas.
- Langchain : para tuberías de datos sin problemas.
- Google Gemini API : proporciona respuestas precisas y resumidas.
Tabla de métricas de evaluación
| Modelo | Bleu | Ruge-l | Similitud semántica | Evaluación humana | Parámetros entrenados |
|---|
| LLAMA-3.2-1B (R = 8) | 0.925700 | 0.964550 | 0.998106 | 0.934744 | 12,156,928 |
| Llama-3.2-1b (r = 16) | 0.925950 | 0.964757 | 0.998106 | 0.942012 | 24,313,856 |
| LLAMA-3.2-1B (R = 32) | 0.924404 | 0.963656 | 0.998096 | 0.946338 | 48,627,712 |
| Phi 3.5 mini | 0.785048 | 0.886750 | 0.998205 | 0.852504 | 29,884,416 |
| TRAPO | 0.964902 | 0.996087 | 0.995800 | 0.967379 | 0 |
Modelos entrenados
- LLAMA-3.2-1B R = 8 enlace
- LLAMA-3.2-1B R = 16 enlace
- LLAMA-3.2-1B R = 32 enlace
- Phi-3.5-Mini enlace
Interfaz web: abrazando la cara
Descripción general de la arquitectura
Inteligencia unificada
- Integra RAG y LLMS ajustados para un rendimiento robusto.
Preservación del contexto
- Asegura que todos los detalles críticos se incluyan en las respuestas.
Flujo natural
- Ofrece interacciones conversacionales fáciles de usar.
Planes futuros
- Ampliar el apoyo del idioma más allá del hindi e inglés.
- Mejore la escalabilidad para conjuntos de datos más grandes y consultas más complejas.
- Integrar métricas de evaluación adicionales para mejorar la precisión.
¡Siéntase libre de bifurcarse, contribuir y mejorar Disla para aplicaciones más amplias!
