FTUP

FT-Up: Openai Manetuning Загрузить сценарий загрузки

Этот скрипт помогает автоматизировать процесс подготовки данных для создания на моделях OpenAI, в частности, GPT-3.5 и Babbage. Он также предоставляет утилиты для проверки данных, преобразования данных в требуемый формат JSONL и оценить стоимость процесса создания.

Функции:

• Проверить ключ API
• Проверить и выберите соответствующую модель (GPT-3.5 или BABBARTE)
• Проверьте файл входных данных (JSONL)
• Оценка затрат на создание
• Создавать и управлять рабочими местами на Openai

Требования:

• Питон 3
• Внешние библиотеки: pyfiglet , openai , tiktoken , dotenv , argparse , json , re , os , sys , time , clint

Чтобы установить необходимые библиотеки:

pip install pyfiglet openai tiktoken python-dotenv argparse clint

или

pip install requirements.txt

Использование:

 python ftup.py [-k <API_KEY>] -m <MODEL_NAME> -f <INPUT_FILE> [-s <SUFFIX>] [-e <EPOCHS>]

Аргументы:

• -k, --key : Необязательно. API -ключ. Необязательный аргумент, но требуется в Env Default, чтобы иметь ключ API в Enviroment. Openai_api_key
• -m, --model : Требуется. Модель для использования. Варианты: gpt для gpt-3.5-turbo-0613 или bab для babbage-002 .
• -f, --file : требуется. Файл ввода данных (формат JSONL).
• -s, --suffix : необязательно. Добавьте суффикс для вашей современной модели. Например, «My-Suffix-Title-V-1».
• -e, --epoch : необязательно. Количество эпох для обучения. По умолчанию 3.

Переменные среды (необязательно):

Храните ключ API в файле .env в формате:

 OPENAI_API_KEY=your_api_key_here

Сценарий по умолчанию загрузится по умолчанию, если не -k / --key принят как аргумент.

Функции:

• check_key(key) : проверка формата для ключа API OpenAI.
• check_model(model) : проверяет имя модели.
• check_jsonl_file(file) : проверяет, имеет ли предоставленный файл действительное имя JSONL и если он существует.
• create_update_jsonl_file(model, file) : Проверьте, есть ли у JSONL правильный формат и загружает файл в OpenAI.
• update_ft_job(file_id_name, model, suffix, epoch) : создает или обновляет задание на основе OpenAI.
• check_jsonl_gpt35(file) : проверяет формат для обучения GPT-3.5.
• check_jsonl_babbage(file) : проверяет формат для обучения Babbage-002.
• cost_gpt(file, epochs) : оценивает стоимость процесса создания.

Примечания:

• Убедитесь, что ваши данные придерживаются руководящих принципов формата данных OpenAI для создания.
• Следите за своей панелью Desmentai, чтобы отслеживать ваше использование и затраты.

Ссылки:

1. Openai документация
2. Поваренная книга Openai - Manetuning
3. Библиотека Python Argparse
4. Пифигт документация
5. Библиотека Tiktoken

Следующие функции:

• Отмена нажатия на обучение
• Добавление токена и стоимости для модели Babbage
• Автоматизация для создания файлов поезда и проверки 80-20%

Пример вывода терминала:

 $ python ftup.py --key your_api_key_here --file train_gpt3_5.jsonl --model gpt --epoch 1 --suffix custom-model-name
or
$ python ftup.py -f train_gpt3_5.jsonl -m gpt -e 1 -s custom-model-name
    ____________            __  ______ 
   / ____/_  __/           / / / / __ 
  / /_    / /    ______   / / / / /_/ /
 / __/   / /    /_____/  / /_/ / ____/ 
/_/     /_/              ____/_/  


Checking API key ...
- API Key

Checking model ...
- Model gpt

Checking if jsonl is valid ...
- JSON File train_gpt3_5.jsonl

Checking if jsonl format is valid for GPT-3.5 training ...
- Num examples: 225
- JSONL train_gpt3_5.jsonl correct format

Uploading jsonl train file ...
- File ID: file-abcd123

Dataset has ~15153 tokens that will be charged for during training
You'll train for 1 epochs on this dataset
By default, you'll be charged for ~15153 tokens
Total cost: $0.1212 ?

Creating a finetuning job ...
- Fintetuning job id: ftjob-abc123

Status: succeeded
Finetuning succeeded! ☑️
Finetune model: ft:gpt-3.5-turbo:openai:custom-model-name:7p4lURe