FTUP

FT-UP: Script de upload do OpenAi Finetuning

Esse script ajuda a automatizar o processo de preparação de dados para o Finetuning nos modelos OpenAI, especificamente GPT-3.5 e Babbage. Ele também fornece utilitários para validar os dados, transformar os dados no formato JSONL necessário e estimar o custo do processo de Finetuning.

Características:

• Validar chave da API
• Validar e selecionar o modelo apropriado (GPT-3.5 ou Babbage)
• Verifique o arquivo de dados de entrada (jsonl)
• Estimar o custo da fino
• Crie e gerencie trabalhos de Finetuning no OpenAi

Requisitos:

• Python 3
• Bibliotecas externas: pyfiglet , openai , tiktoken , dotenv , argparse , json , re , os , sys , time , clint

Para instalar as bibliotecas necessárias:

pip install pyfiglet openai tiktoken python-dotenv argparse clint

ou

pip install requirements.txt

Uso:

 python ftup.py [-k <API_KEY>] -m <MODEL_NAME> -f <INPUT_FILE> [-s <SUFFIX>] [-e <EPOCHS>]

Argumentos:

• -k, --key : opcional. Chave da API. Argumento opcional, mas exigido no Env padrão para ter uma chave da API no Enviroment. OpenAi_API_KEY
• -m, --model : requerido. Modelo a ser usado. Opções: gpt para gpt-3.5-turbo-0613 ou bab para babbage-002 .
• -f, --file : Necessário. Arquivo de dados de entrada (formato jsonl).
• -s, --suffix : opcional. Adicione um sufixo para o seu modelo FinetUned. Por exemplo, 'My-Sufix-Title-V-1'.
• -e, --epoch : opcional. Número de épocas para treinamento. O padrão é 3.

Variáveis ​​de ambiente (opcional):

Armazene sua chave da API em um arquivo .env no formato:

 OPENAI_API_KEY=your_api_key_here

O script carregará por padrão esta tecla, se não -k / --key passou como um argumento.

Funções:

• check_key(key) : valida o formato da chave da API OpenAI.
• check_model(model) : valida o nome do modelo.
• check_jsonl_file(file) : verifica se o arquivo fornecido tem um nome JSONL válido e se existe.
• create_update_jsonl_file(model, file) : verifique se o jsonl tem um formato correto e upload de arquivo para o OpenAI.
• update_ft_job(file_id_name, model, suffix, epoch) : cria ou atualiza o trabalho de Finetuning no OpenAI.
• check_jsonl_gpt35(file) : valida o formato para o treinamento GPT-3.5.
• check_jsonl_babbage(file) : valida o formato para o treinamento Babbage-002.
• cost_gpt(file, epochs) : estima o custo do processo de Finetuning.

Notas:

• Certifique -se de que seus dados aderem às diretrizes de formato de dados da OpenAI para o Finetuning.
• Monitore seu painel OpenAI para acompanhar seu uso e custos.

Referências:

1. Documentação do OpenAI
2. Livro de receitas OpenAi - Finetuning
3. Biblioteca Python Argparse
4. Documentação do Pyfiglet
5. Biblioteca Tiktoken

Próximos recursos:

• Cancelar a tecla de prensagem de treinamento
• Adicionando token e custo para o modelo Babbage
• Automatizar para criar arquivos de trem e validação 80-20%

Exemplo de saída do terminal:

 $ python ftup.py --key your_api_key_here --file train_gpt3_5.jsonl --model gpt --epoch 1 --suffix custom-model-name
or
$ python ftup.py -f train_gpt3_5.jsonl -m gpt -e 1 -s custom-model-name
    ____________            __  ______ 
   / ____/_  __/           / / / / __ 
  / /_    / /    ______   / / / / /_/ /
 / __/   / /    /_____/  / /_/ / ____/ 
/_/     /_/              ____/_/  


Checking API key ...
- API Key

Checking model ...
- Model gpt

Checking if jsonl is valid ...
- JSON File train_gpt3_5.jsonl

Checking if jsonl format is valid for GPT-3.5 training ...
- Num examples: 225
- JSONL train_gpt3_5.jsonl correct format

Uploading jsonl train file ...
- File ID: file-abcd123

Dataset has ~15153 tokens that will be charged for during training
You'll train for 1 epochs on this dataset
By default, you'll be charged for ~15153 tokens
Total cost: $0.1212 ?

Creating a finetuning job ...
- Fintetuning job id: ftjob-abc123

Status: succeeded
Finetuning succeeded! ☑️
Finetune model: ft:gpt-3.5-turbo:openai:custom-model-name:7p4lURe