flan t5 fine tune

Flan-t5 de ajuste fino

Este projeto tem como objetivo ajustar o modelo de idioma Flan-T5 usando a Biblioteca Transformers do Hugging Face. Seguindo estas etapas, você pode ajustar o modelo e usá-lo para inferência.

---

Pré -requisitos

Antes de começar, verifique se você tem o seguinte:

• Abraçando o token da API do rosto (token hf)
• Python instalado em seu sistema
• GPU habilitado para CUDA (para treinamento)

---

Configurar

1. Clone este repositório para sua máquina local.

   git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/

2. Instale os pacotes necessários usando o seguinte comando:

   pip install -r requirements.txt

---

Flan-t5 de ajuste fino

Existem quatro métodos de ajuste fino disponíveis:

1. Ajuste fino aditivo : adiciona camadas para treinar.

   python additive-fine-tuning.py

2. Ajuste completo : treina todos os pesos do modelo.

   python full-fine-tuning.py

3. Ajuste fino seletivo : escolhe camadas específicas do modelo original para treinar.

   python selective-fine-tuning.py

4. Modelo Tuneamento fino : usa um modelo predefinido para treinamento. O modelo pode ser modificado conforme necessário.

---

Ingestão de dados personalizados

Para ingerir seus próprios dados para ajuste fino, modifique o código em seus scripts para carregar seu conjunto de dados. Aqui está um exemplo de carregar um conjunto de dados de texto:

 from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )

---

Inferência

Para realizar inferência usando o modelo FLAN-T5 ajustado, você pode usar os seguintes scripts:

1. Gere o uso de passagem para a frente : este script demonstra geração de texto usando uma abordagem de passagem direta.

   python generate-using-forward.py

2. Script de inferência principal : Este script fornece uma maneira direta de gerar saídas a partir do modelo.

   python main.py

Exemplo de inferência

Você pode modificar o texto de entrada no arquivo main.py para testar o modelo:

 input_text = [ "What is FAANG?" ]

Isso gerará uma saída com base na entrada fornecida.

---

Feliz ajuste fino!

Sinta -se à vontade para modificar os scripts conforme necessário para suas tarefas e conjuntos de dados específicos. Se você encontrar algum problema, verifique a documentação do Face Hugging ou procure ajuda da comunidade.

Resumo da estrutura de leitura

• Título e Introdução : descreve o objetivo do projeto.
• Pré -requisitos : lista os requisitos necessários.
• Configuração : Instruções para clonar o repositório, configurar o ambiente e instalar dependências.
• Métodos de ajuste fino : detalha os quatro métodos disponíveis para ajuste fino.
• Ingestão de dados personalizados : fornece um exemplo de como carregar conjuntos de dados personalizados.
• Inferência : explica como executar a inferência com o modelo ajustado, incluindo scripts de exemplo.
• Conclusão : incentiva os usuários a modificar scripts e procurar ajuda, se necessário.

Sinta -se à vontade para ajustar ainda mais as seções com base em suas necessidades específicas!