Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

Ajuste fino e inferencia con el modelo LLAMA-3.1-8B

Este proyecto demuestra cómo ajustar el modelo LLAMA-3.1-8B usando adaptadores Lora, aplicar plantillas de chat y guardar el modelo para inferencia. El modelo está capacitado en datos locales, optimizado para capacitación eficiente de parámetros y se despliega en el abrazo de la cara.

Descripción general

• Modelo : LLAMA-3.1-8B con cuantificación de 4 bits para un uso eficiente de memoria.
• Técnicas : ajuste fino utilizando adaptadores Lora (adaptación de bajo rango), punto de control de gradiente y plantillas de chat.
• Datos : archivo CSV local personalizado utilizado para capacitación.
• Objetivo : entrenar e implementar un modelo de chatbot capaz de manejar la entrada del usuario en formatos basados ​​en conversaciones.

Características

• Adaptadores de Lora : ajuste fino de los parámetros.
• Cuantización : uso eficiente de la memoria con precisión de 4 bits.
• Plantillas de chat : flujo de conversación estructurado con tokenización.
• Implementación del modelo : ahorrar y empujar modelos para abrazar el centro de la cara en diferentes formatos de cuantización.

Instalación

Para ejecutar este proyecto, deberá instalar los paquetes requeridos. Puede configurar esto en Google Colab o en su entorno local:

pip install torch transformers datasets pandas unsloth trl