flan t5 fine tune

flan t5 fine tune

Code Source AI

1.0.0

Télécharger

Flan-T5 fin

Ce projet vise à affiner le modèle de langue Flan-T5 à l'aide de la bibliothèque Transformers de Hugging Face. En suivant ces étapes, vous pouvez affiner le modèle et l'utiliser pour l'inférence.

Condition préalable

Avant de commencer, assurez-vous d'avoir ce qui suit:

Token API Face Hugging Face (jeton HF)
Python installé sur votre système
GPU compatible Cuda (pour la formation)

Installation

Clone ce référentiel à votre machine locale.

git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/

Installez les packages requis à l'aide de la commande suivante:
```
pip install -r requirements.txt
```

Flan-T5 fin

Il existe quatre méthodes de réglage fin:

Additif Fine-tuning : ajoute des couches pour s'entraîner.
```
python additive-fine-tuning.py
```
Fine ajustement complet : entraîne tous les poids du modèle.
```
python full-fine-tuning.py
```
Affinement sélectif : choisit des couches spécifiques du modèle d'origine pour s'entraîner.
```
python selective-fine-tuning.py
```
Modèle de réglage fin : utilise un modèle prédéfini pour la formation. Le modèle peut être modifié selon les besoins.

Ingestion de données personnalisée

Pour ingérer vos propres données pour un réglage fin, modifiez le code de vos scripts pour charger votre ensemble de données. Voici un exemple de chargement d'un ensemble de données de texte:

 from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )

Inférence

Pour effectuer l'inférence à l'aide du modèle Flan-T5 affiné, vous pouvez utiliser les scripts suivants:

Générer à l'aide de la passe avant : ce script montre la génération de texte à l'aide d'une approche de pass avant.
```
python generate-using-forward.py
```
Script principal d'inférence : ce script fournit un moyen simple de générer des sorties à partir du modèle.
```
python main.py
```

Exemple d'inférence

Vous pouvez modifier le texte d'entrée dans le fichier main.py pour tester le modèle:

 input_text = [ "What is FAANG?" ]

Cela générera une sortie en fonction de l'entrée fournie.

Joyeux aval!

N'hésitez pas à modifier les scripts au besoin pour vos tâches et ensembles de données spécifiques. Si vous rencontrez des problèmes, consultez la documentation des étreintes ou demandez de l'aide à la communauté.

Résumé de la structure ReadMe

Titre et introduction : décrit le but du projet.
Prérequis : répertorie les exigences nécessaires.
Configuration : instructions pour cloner le dépôt, configurer l'environnement et installer des dépendances.
Méthodes de réglage fin : Détails Les quatre méthodes disponibles pour le réglage fin.
Ingestion de données personnalisée : fournit un exemple de la façon de charger des ensembles de données personnalisés.
Inférence : explique comment exécuter l'inférence avec le modèle affiné, y compris les exemples de scripts.
Conclusion : encourage les utilisateurs à modifier les scripts et à demander de l'aide si nécessaire.