Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

Tuneamento fino e inferência com o modelo LLAMA-3.1-8B

Este projeto demonstra como ajustar o modelo LLAMA-3.1-8B usando adaptadores LORA, aplicar modelos de bate-papo e salvar o modelo para inferência. O modelo é treinado em dados locais, otimizado para treinamento com eficiência de parâmetros e implantado no hub de face abraçados.

Visão geral

• Modelo : LLAMA-3.1-8B com quantização de 4 bits para uso eficiente da memória.
• Técnicas : ajuste fino usando adaptadores LORA (adaptação de baixo rank), verificação de gradiente e modelos de bate-papo.
• Dados : arquivo CSV local personalizado usado para treinamento.
• Objetivo : Treine e implante um modelo de chatbot capaz de lidar com a entrada do usuário em formatos baseados em conversas.

Características

• Adaptadores LORA : ajuste fino com eficiência de parâmetro.
• Quantização : uso de memória eficiente com precisão de 4 bits.
• Modelos de bate -papo : Fluxo de conversa estruturada com tokenização.
• Implantação do modelo : salvando e empurrando modelos para abraçar o hub de rosto em diferentes formatos de quantização.

Instalação

Para executar este projeto, você precisará instalar os pacotes necessários. Você pode configurar isso no Google Colab ou em seu ambiente local:

pip install torch transformers datasets pandas unsloth trl