الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

FT-UP: Openai Finetuning Shoppload Script

يساعد هذا البرنامج النصي على أتمتة عملية إعداد البيانات للتأثير على نماذج Openai ، وتحديداً GPT-3.5 و Babbage. كما يوفر الأدوات المساعدة للتحقق من صحة البيانات ، وتحويل البيانات إلى تنسيق JSONL المطلوب ، وتقدير تكلفة عملية التغذية.

سمات:

  • التحقق من صحة مفتاح API
  • التحقق من صحة النموذج المناسب وحدده (GPT-3.5 أو Babbage)
  • تحقق من ملف بيانات الإدخال (JSONL)
  • تقدير التكلفة
  • قم بإنشاء وإدارة وظائف الإقامة في Openai

متطلبات:

  • بيثون 3
  • المكتبات الخارجية: pyfiglet ، openai ، tiktoken ، dotenv ، argparse ، json ، re ، os ، sys ، time ، clint

لتثبيت المكتبات المطلوبة: 

pip install pyfiglet openai tiktoken python-dotenv argparse clint

أو 

pip install requirements.txt

الاستخدام: 

 python ftup.py [-k <API_KEY>] -m <MODEL_NAME> -f <INPUT_FILE> [-s <SUFFIX>] [-e <EPOCHS>]

الحجج:

  • -k, --key : اختياري. مفتاح API. وسيطة اختيارية ، ولكنها مطلوبة في ENV الافتراضي للحصول على مفتاح API في Enviroment. openai_api_key
  • -m, --model : مطلوب. نموذج للاستخدام. الخيارات: gpt لـ gpt-3.5-turbo-0613 أو bab لـ babbage-002 .
  • -f, --file : مطلوب. إدخال ملف بيانات (تنسيق JSONL).
  • -s, --suffix : اختياري. أضف لاحقة لنموذجك المحدود. على سبيل المثال ، 'my-suffix-title-v-1'.
  • -e, --epoch : اختياري. عدد العصر للتدريب. الافتراضي هو 3.

متغيرات البيئة (اختياري):

قم بتخزين مفتاح API الخاص بك في ملف .env بالتنسيق: 

 OPENAI_API_KEY=your_api_key_here

سيتم تحميل البرنامج النصي افتراضيًا هذا المفتاح إن لم يكن -k / --key تمريره كوسيطة.

وظائف:

  • check_key(key) : التحقق من صحة مفتاح Openai API.
  • check_model(model) : يتحقق من صحة اسم النموذج.
  • check_jsonl_file(file) : يتحقق مما إذا كان الملف المقدم يحتوي على اسم JSONL صالح وما إذا كان موجودًا.
  • create_update_jsonl_file(model, file) : تحقق مما إذا كان JSONL لديه تنسيق صحيح وتحميل ملف إلى openai.
  • update_ft_job(file_id_name, model, suffix, epoch) : يقوم بإنشاء أو تحديث مهمة finetuning على Openai.
  • check_jsonl_gpt35(file) : التحقق من صحة تنسيق تدريب GPT-3.5.
  • check_jsonl_babbage(file) : يتحقق من تنسيق تدريب Babbage-002.
  • cost_gpt(file, epochs) : يقدر تكلفة عملية التغذية.

ملحوظات:

  • تأكد من أن بياناتك تلتزم بإرشادات تنسيق البيانات في Openai للتأثير.
  • راقب لوحة معلومات Openai لتتبع استخدامك وتكاليفك.

مراجع:

  1. Openai Documentation
  2. كتاب طبخ Openai - Finetuning
  3. مكتبة Python Argparse
  4. وثائق Pyfiglet
  5. مكتبة Tiktoken

الميزات التالية:

  • إلغاء التدريب على مفتاح الضغط
  • إضافة الرمز المميز وتكلفة نموذج Babbage
  • أتمتة إنشاء ملفات القطار والتحقق من صحة 80-20 ٪

مثال الإخراج الطرفي: 

 $ python ftup.py --key your_api_key_here --file train_gpt3_5.jsonl --model gpt --epoch 1 --suffix custom-model-name
or
$ python ftup.py -f train_gpt3_5.jsonl -m gpt -e 1 -s custom-model-name
    ____________            __  ______ 
   / ____/_  __/           / / / / __ 
  / /_    / /    ______   / / / / /_/ /
 / __/   / /    /_____/  / /_/ / ____/ 
/_/     /_/              ____/_/  


Checking API key ...
- API Key

Checking model ...
- Model gpt

Checking if jsonl is valid ...
- JSON File train_gpt3_5.jsonl

Checking if jsonl format is valid for GPT-3.5 training ...
- Num examples: 225
- JSONL train_gpt3_5.jsonl correct format

Uploading jsonl train file ...
- File ID: file-abcd123

Dataset has ~15153 tokens that will be charged for during training
You'll train for 1 epochs on this dataset
By default, you'll be charged for ~15153 tokens
Total cost: $0.1212 ?

Creating a finetuning job ...
- Fintetuning job id: ftjob-abc123

Status: succeeded
Finetuning succeeded! ☑️
Finetune model: ft:gpt-3.5-turbo:openai:custom-model-name:7p4lURe
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل