FTUP

FT-UP: Openai Finetuning Téléchargez le script

Ce script permet d'automatiser le processus de préparation des données pour les finetuning sur les modèles OpenAI, en particulier GPT-3.5 et Babbage. Il fournit également des services publics pour valider les données, transformer les données au format JSONL requis et estimer le coût du processus de financement.

Caractéristiques:

• Valider la clé de l'API
• Valider et sélectionner le modèle approprié (GPT-3.5 ou Babbage)
• Vérifier le fichier de données d'entrée (JSONL)
• Estimer le coût de la fin des finitions
• Créer et gérer des travaux de finetun sur OpenAI

Exigences:

• Python 3
• Bibliothèques externes: pyfiglet , openai , tiktoken , dotenv , argparse , json , re , os , sys , time , clint

Pour installer les bibliothèques requises:

pip install pyfiglet openai tiktoken python-dotenv argparse clint

ou

pip install requirements.txt

Usage:

 python ftup.py [-k <API_KEY>] -m <MODEL_NAME> -f <INPUT_FILE> [-s <SUFFIX>] [-e <EPOCHS>]

Arguments:

• -k, --key : Facultatif. Clé API. Argument facultatif, mais requis dans Default Env a une clé API dans Enviroment. Openai_api_key
• -m, --model : requis. Modèle à utiliser. Options: gpt pour gpt-3.5-turbo-0613 ou bab pour babbage-002 .
• -f, --file : requis. Fichier de données d'entrée (format JSONL).
• -s, --suffix : Facultatif. Ajoutez un suffixe pour votre modèle à finetumé. Par exemple, «My-Suffix-title-v-1».
• -e, --epoch : facultatif. Nombre d'époches pour la formation. La valeur par défaut est 3.

Variables d'environnement (facultatif):

Stockez votre clé API dans un fichier .env au format:

 OPENAI_API_KEY=your_api_key_here

Le script se chargera par défaut de cette touche, sinon -k / --key passée comme argument.

Fonctions:

• check_key(key) : Valide le format pour la touche API OpenAI.
• check_model(model) : valide le nom du modèle.
• check_jsonl_file(file) : vérifie si le fichier fourni a un nom JSONL valide et s'il existe.
• create_update_jsonl_file(model, file) : vérifiez si JSONL a un format correct et télécharge un fichier sur OpenAI.
• update_ft_job(file_id_name, model, suffix, epoch) : crée ou met à jour le travail de financement sur OpenAI.
• check_jsonl_gpt35(file) : valide le format pour la formation GPT-3.5.
• check_jsonl_babbage(file) : valide le format pour la formation Babbage-002.
• cost_gpt(file, epochs) : estime le coût du processus de financement.

Notes:

• Assurez-vous que vos données adhèrent aux directives du format de données d'OpenAI pour les finantins.
• Surveillez votre tableau de bord OpenAI pour garder une trace de votre utilisation et de vos coûts.

Références:

1. Documentation OpenAI
2. Openai Cookbook - Finetuning
3. Bibliothèque Python Argparse
4. Documentation Pyfiglet
5. bibliothèque tiktoken

Caractéristiques suivantes:

• Annuler la touche de la formation en appuyant
• Ajout de jeton et de coût pour le modèle Babbage
• Automatiser pour la création de fichiers de train et de validation 80-20%

Exemple de sortie du terminal:

 $ python ftup.py --key your_api_key_here --file train_gpt3_5.jsonl --model gpt --epoch 1 --suffix custom-model-name
or
$ python ftup.py -f train_gpt3_5.jsonl -m gpt -e 1 -s custom-model-name
    ____________            __  ______ 
   / ____/_  __/           / / / / __ 
  / /_    / /    ______   / / / / /_/ /
 / __/   / /    /_____/  / /_/ / ____/ 
/_/     /_/              ____/_/  


Checking API key ...
- API Key

Checking model ...
- Model gpt

Checking if jsonl is valid ...
- JSON File train_gpt3_5.jsonl

Checking if jsonl format is valid for GPT-3.5 training ...
- Num examples: 225
- JSONL train_gpt3_5.jsonl correct format

Uploading jsonl train file ...
- File ID: file-abcd123

Dataset has ~15153 tokens that will be charged for during training
You'll train for 1 epochs on this dataset
By default, you'll be charged for ~15153 tokens
Total cost: $0.1212 ?

Creating a finetuning job ...
- Fintetuning job id: ftjob-abc123

Status: succeeded
Finetuning succeeded! ☑️
Finetune model: ft:gpt-3.5-turbo:openai:custom-model-name:7p4lURe