وصمة عار GPT-35 توربو
خطوات التدريب
# STEP 1:
python prepare_data.py --raw_data=./test/raw_data/qa.txt --base_system_instruction=./test/raw_data/fine_tune_instructions_base.json --output=./data
# STEP 2:
python json2jsonl.py --input=./data --output=./data
# STEP 3:
python fine_tune.py --action=check --json_dir=./data
# STEP 4:
python fine_tune.py --action=upload --jsonl_file=./data/fine_tune_instructions.jsonl
# STEP 5:
python fine_tune.py --action=start
# STEP 6:
python fine_tune.py --action=status
القيود وتحذيرات
- في الوقت الحالي ، لا يمكننا سوى ضبط GPT-3.5-Turbo (GPT-3.5-TURBO-0613 على وجه التحديد) الذي يحتوي على سياق 4K.
- تكلفة التثبيت نفسها منخفضة للغاية (0.008 دولار لرموز 1K من مجموعة البيانات) ، ولكن المشكلة الرئيسية هي تكلفة الاستدلال-لأن النموذج الذي تم ضبطه سيتم استخدامه من قبلك فقط ، سيكلف الاستدلال 8 مرات أكثر مقارنةً بتوربو 4K العادي ، مما يجعله نصفًا باهظ الثمن مثل GPT-4.
- لا يمكن مشاركة طراز النقطة الدقيقة بين حسابات Openai المختلفة ، وبالتالي فإن الطريقة الوحيدة للحصول على "نفس" النصوص هي تشغيل المهمة الرائعة على جميع الحسابات المنفصلة التي تريد استخدامها.
- يجب أن تكون مجموعة البيانات الخاصة بالضبط 100 ٪ SFW ، لأنه ، على حد تعبير Openai-"يتم تمرير بيانات التدريب الدقيقة من خلال واجهة برمجة تطبيقات الاعتدال لدينا ونظام الاعتدال GPT-4 للكشف عن بيانات التدريب غير الآمنة التي تتعارض مع معايير السلامة لدينا". واجهة برمجة تطبيقات الاعتدال صارمة للغاية ، لذلك حتى أشياء مثل "امتصاص إصبع" لن تمر.
- سيحصل مالك الحساب على بريد إلكتروني عند الانتهاء من النقطة.
مراجع
