faq llm
1.0.0
Este repositorio contiene el código y los recursos para construir un chatbot de preguntas frecuentes de comercio electrónico utilizando un ajuste fino eficiente de los parámetros con la técnica Lora. El proyecto tiene como objetivo desarrollar un chatbot para un sitio de comercio electrónico aprovechando los modelos de idiomas grandes (LLM) y adoptando un enfoque ajustado utilizando el modelo Falcon-7B. El ajuste fino se realiza con un ajuste fino eficiente de los parámetros (PEFT) y la técnica LORA (adaptación de bajo rango) para mejorar el rendimiento del modelo.
En el mundo acelerado del comercio electrónico, manejar las consultas de los clientes de manera eficiente es crucial. Este proyecto presenta una solución de chatbot que aprovecha los modelos de lenguaje avanzado para automatizar las respuestas a las preguntas frecuentes. El modelo ajustado, Falcon-7b, está capacitado en un conjunto de datos personalizado extraído de Kaggle, abordando consultas comunes de los usuarios en el dominio de comercio electrónico.
El proyecto se basa en modelos previamente capacitados, incluidos los modelos GPT de OpenAI y los modelos de llamas de Meta. También explora los chatbots existentes como IBM Watson Assistant y ADA Healthcare Chatbot. Se discute la comparación entre RAG (generación de recuperación aumentada) y modelos ajustados.
El conjunto de datos, procedente de Kaggle, comprende 79 muestras con preguntas y respuestas correspondientes. La división incluye 67 muestras para entrenamiento (85%) y 12 muestras para pruebas (15%).
Enlace al conjunto de datos en Kaggle
La metodología implica usar el modelo Falcon-7B, ajustar con técnica PEFT y LORA, y aprovechar bibliotecas clave como Transformers y PEFF al abrazar la cara. El proceso incluye preprocesamiento del conjunto de datos, configuración de adaptadores de Lora y capacitación en modelo.
El modelo demuestra valores de pérdida decrecientes en las épocas, lo que indica tendencias de entrenamiento positivas. La puntuación BLU, utilizada para la evaluación, muestra la competencia del modelo en la generación de respuestas alineadas con los resultados esperados.
El proyecto contribuye a mejorar la atención al cliente en el comercio electrónico a través de modelos de idiomas avanzados. Si bien los resultados alcanzados son prometedores, se recomiendan experimentos adicionales con conjuntos de datos más grandes y refinamiento del modelo continuo.
Los reconocimientos se extienden a los desarrolladores del modelo Falcon-7B, la comunidad de Face Face, Kaggle para organizar el conjunto de datos y la facultad de la Universidad de New Haven.
Se ha desarrollado una aplicación de transmisión para uso local, que requiere una GPU con al menos 16 gigabytes de RAM de video (VRAM) para un rendimiento óptimo. la aplicación en este repositorio. Vea el control de la aplicación de transmisión
Siéntase libre de explorar, experimentar y contribuir a mejoras adicionales.
