FTUP

FT-UP: Openai Finetuning Unggah Script

Skrip ini membantu mengotomatiskan proses menyiapkan data untuk finetuning pada model OpenAI, khususnya GPT-3.5 dan Babbage. Ini juga menyediakan utilitas untuk memvalidasi data, mengubah data ke format JSONL yang diperlukan, dan memperkirakan biaya proses finetuning.

Fitur:

• Validasi Kunci API
• Validasi dan pilih model yang sesuai (GPT-3.5 atau Babbage)
• Periksa File Data Input (JSONL)
• Perkirakan biaya finetuning
• Buat dan kelola pekerjaan finetuning di openai

Persyaratan:

• Python 3
• Perpustakaan Eksternal: pyfiglet , openai , tiktoken , dotenv , argparse , json , re , os , sys , time , clint

Untuk menginstal pustaka yang diperlukan:

pip install pyfiglet openai tiktoken python-dotenv argparse clint

atau

pip install requirements.txt

Penggunaan:

 python ftup.py [-k <API_KEY>] -m <MODEL_NAME> -f <INPUT_FILE> [-s <SUFFIX>] [-e <EPOCHS>]

Argumen:

• -k, --key : Opsional. Kunci API. Argumen opsional, tetapi diperlukan dalam env default untuk memiliki kunci API di lingkungan. Openai_api_key
• -m, --model : Diperlukan. Model untuk digunakan. Opsi: gpt untuk gpt-3.5-turbo-0613 atau bab untuk babbage-002 .
• -f, --file : Diperlukan. Input File Data (format JSONL).
• -s, --suffix : Opsional. Tambahkan akhiran untuk model finetuned Anda. Misalnya, 'my-suffix-title-v-1'.
• -e, --epoch : opsional. Jumlah zaman untuk pelatihan. Default adalah 3.

Variabel Lingkungan (Opsional):

Simpan kunci API Anda di file .env dalam format:

 OPENAI_API_KEY=your_api_key_here

Script akan memuat secara default kunci ini jika tidak -k / --key disahkan sebagai argumen.

Fungsi:

• check_key(key) : Memvalidasi format untuk tombol API OpenAI.
• check_model(model) : memvalidasi nama model.
• check_jsonl_file(file) : Periksa apakah file yang disediakan memiliki nama jsonl yang valid dan jika ada.
• create_update_jsonl_file(model, file) : Periksa apakah jsonl memiliki format yang benar dan mengunggah file ke openai.
• update_ft_job(file_id_name, model, suffix, epoch) : Membuat atau memperbarui pekerjaan finetuning di openai.
• check_jsonl_gpt35(file) : memvalidasi format untuk pelatihan GPT-3.5.
• check_jsonl_babbage(file) : memvalidasi format untuk pelatihan Babbage-002.
• cost_gpt(file, epochs) : memperkirakan biaya proses finetuning.

Catatan:

• Pastikan data Anda mematuhi pedoman format data OpenAI untuk finetuning.
• Pantau dasbor openai Anda untuk melacak penggunaan dan biaya Anda.

Referensi:

1. Dokumentasi Openai
2. Openai Cookbook - Finetuning
3. Perpustakaan Python Argparse
4. Dokumentasi Pyfiglet
5. Perpustakaan Tiktoken

Fitur berikutnya:

• Batalkan Tombol Penekanan Pelatihan
• Menambahkan token dan biaya untuk model babbage
• Otomatis untuk membuat file kereta dan validasi 80-20%

Contoh output terminal:

 $ python ftup.py --key your_api_key_here --file train_gpt3_5.jsonl --model gpt --epoch 1 --suffix custom-model-name
or
$ python ftup.py -f train_gpt3_5.jsonl -m gpt -e 1 -s custom-model-name
    ____________            __  ______ 
   / ____/_  __/           / / / / __ 
  / /_    / /    ______   / / / / /_/ /
 / __/   / /    /_____/  / /_/ / ____/ 
/_/     /_/              ____/_/  


Checking API key ...
- API Key

Checking model ...
- Model gpt

Checking if jsonl is valid ...
- JSON File train_gpt3_5.jsonl

Checking if jsonl format is valid for GPT-3.5 training ...
- Num examples: 225
- JSONL train_gpt3_5.jsonl correct format

Uploading jsonl train file ...
- File ID: file-abcd123

Dataset has ~15153 tokens that will be charged for during training
You'll train for 1 epochs on this dataset
By default, you'll be charged for ~15153 tokens
Total cost: $0.1212 ?

Creating a finetuning job ...
- Fintetuning job id: ftjob-abc123

Status: succeeded
Finetuning succeeded! ☑️
Finetune model: ft:gpt-3.5-turbo:openai:custom-model-name:7p4lURe