BYOSC Build Your Own Scalable Chatbots

Byosc-build-your-own-Scalable-Chatbots

Introducción

Al prepararse para los exámenes universitarios, se ha demostrado que tener un socio es esencial para descubrir brechas de conocimiento y aclarar dudas específicas sobre el tema tratado durante las clases. Si bien los chatbots basados ​​en LLM como ChatGPT, Phind y Clod ya están proporcionando ayuda a los estudiantes, no pueden proporcionar una conferencia/ayuda específica de material en los cursos universitarios de los estudiantes. Proponemos crear un sistema para ajustar los chatbots en material específico de cursos específicos. Gracias a esto, crearemos amigos de estudio para los cursos de un estudiante universitario típico, capaces de responder dudas, generar preguntas y más.

Es posible probar el chatbot en este enlace.

El alcance implícito del proyecto (y de todo el curso) es construir una infraestructura escalable que pueda alojar a nuestros MLOPS. Por esta razón, la tubería ML monolítica tradicional se divide en tres procesos diferentes: tuberías de características , tubería de capacitación , tubería de inferencia .

Tubería de funciones

La tubería de características está a cargo de:

• Descargar el nuevo archivo disponible desde una carpeta pública compartida
• Generación de transcripciones de los archivos
• Subiendo una nueva transcripción a Hopsworks
• Uso de API GPT 3.5 para generar un conjunto de instrucciones válido para el ajuste de un modelo de base
• Subir dichas instrucciones establecidas en Hopsworks

Ejecutando la tubería de funciones

Hay varias opciones para ejecutar la tubería de funciones:

• Ejecutar el cuaderno FeaturePipeline/Reading.ipynb
• Ejecute el FeaturePipeline/FeaturePipeline.py con python3 FeaturePipeline/FeaturePipeline.py

Una copia de este último se modifica ligeramente en el archivo FeaturePipeline/FeaturePipeline_modal.py para que se ejecute en el servicio de alojamiento modal utilizando modal [run|deploy] FeaturePipeline/FeaturePipeline.py

Tubería de entrenamiento

La tubería de entrenamiento está a cargo de:

• Recuperando las instrucciones establecidas de Hopsworks
• Configuración de una instancia de entrenador utilizando técnicas de Peft y Lora
• Dirigiendo el entrenamiento
• Subiendo el resultado a Huggingface

Ejecutando la tubería de entrenamiento

Para ejecutar la tubería de capacitación, ejecute el cuaderno TrainingPipeline/FineTuning.ipynb

Tubería de inferencia

La tubería de inferencia está a cargo de:

• Ejecute una interfaz de chatbot usando Streamlit + langchain
• Descargar transcripciones del material de Hopsworks
• Incrustaciones informáticas del material original utilizando la oración Bert
• Incrustaciones informáticas de la pregunta del usuario utilizando la oración Bert
• Recuperar el material mejor coincidente para una determinada pregunta
• Aumentar la respuesta del chatbot usando trapo

Ejecutando la tubería de inferencia

Para ejecutar la tubería de inferencia, ejecute streamlit run chatbot_app.py

Conclusiones

Si bien experimentalmente el proceso de ajuste fino no es suficiente para que el modelo fundamental sea consistentemente mejor que uno no ajustado, el chatbot habilitado para RAG no solo puede responder a las preguntas del usuario correctamente siguiendo el material original, sino que también puede dar (principalmente) referencias correctas de dónde se toma la respuesta, una característica esencial para un estudiante que estudia para un examen universitario!

Trabajo futuro

El ajuste fino no funciona tan bien como debido a la falta de material utilizado y recursos computacionales. Como futuro trabajo, queremos mejorar el proceso de extracción de conocimiento y utilizar más energía computacional para abordar los problemas que se muestran en el informe.