flan t5 fine tune

Flan-T5 ajustado

Este proyecto tiene como objetivo ajustar el modelo de lenguaje Flan-T5 usando la Biblioteca Transformers de Hugging Face. Siguiendo estos pasos, puede ajustar el modelo y usarlo para inferencia.

---

Requisitos previos

Antes de comenzar, asegúrese de tener lo siguiente:

• Sugerando Face API Token (Token HF)
• Python instalado en su sistema
• GPU habilitado para CUDA (para capacitación)

---

Configuración

1. Clone este repositorio a su máquina local.

   git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/

2. Instale los paquetes requeridos con el siguiente comando:

   pip install -r requirements.txt

---

Flan-T5 ajustado

Hay cuatro métodos de ajuste fino:

1. Agradecimiento fino aditivo : agrega capas para entrenar.

   python additive-fine-tuning.py

2. Autorización completa : entrena todos los pesos del modelo.

   python full-fine-tuning.py

3. Autorización fina selectiva : elige capas específicas del modelo original para entrenar.

   python selective-fine-tuning.py

4. Plantilla ajustado : utiliza una plantilla predefinida para el entrenamiento. La plantilla se puede modificar según sea necesario.

---

Ingestión de datos personalizados

Para ingerir sus propios datos para ajustar, modifique el código en sus scripts para cargar su conjunto de datos. Aquí hay un ejemplo de cargar un conjunto de datos de texto:

 from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )

---

Inferencia

Para realizar una inferencia utilizando el modelo Flan-T5 ajustado, puede usar los siguientes scripts:

1. Genere usando el pase hacia adelante : este script demuestra generar texto utilizando un enfoque de pase hacia adelante.

   python generate-using-forward.py

2. Script de inferencia principal : este script proporciona una forma directa de generar salidas del modelo.

   python main.py

Ejemplo de inferencia

Puede modificar el texto de entrada en el archivo main.py para probar el modelo:

 input_text = [ "What is FAANG?" ]

Esto generará una salida basada en la entrada proporcionada.

---

¡Feliz ajuste!

No dude en modificar los scripts según sea necesario para sus tareas y conjuntos de datos específicos. Si se encuentra con algún problema, consulte la documentación de la cara abrazada o busque ayuda de la comunidad.

Resumen de la estructura de ReadMe

• Título e introducción : describe el propósito del proyecto.
• Prerrequisitos : enumera los requisitos necesarios.
• Configuración : Instrucciones para clonar el repositorio, configurar el entorno e instalar dependencias.
• Métodos de ajuste fino : detalla los cuatro métodos disponibles para el ajuste fino.
• Ingestión de datos personalizados : proporciona un ejemplo de cómo cargar conjuntos de datos personalizados.
• Inferencia : explica cómo ejecutar inferencia con el modelo ajustado, incluidos los scripts de ejemplo.
• Conclusión : alienta a los usuarios a modificar los scripts y buscar ayuda si es necesario.

¡Siéntase libre de ajustar más secciones en función de sus necesidades específicas!