Fine-Tune-GPT-35-turbo
ขั้นตอนการฝึกอบรม
# STEP 1:
python prepare_data.py --raw_data=./test/raw_data/qa.txt --base_system_instruction=./test/raw_data/fine_tune_instructions_base.json --output=./data
# STEP 2:
python json2jsonl.py --input=./data --output=./data
# STEP 3:
python fine_tune.py --action=check --json_dir=./data
# STEP 4:
python fine_tune.py --action=upload --jsonl_file=./data/fine_tune_instructions.jsonl
# STEP 5:
python fine_tune.py --action=start
# STEP 6:
python fine_tune.py --action=status
ข้อ จำกัด && คำเตือน
- ตอนนี้เราสามารถปรับแต่ง GPT-3.5-turbo (GPT-3.5-turbo-0613 โดยเฉพาะ) ซึ่งมีบริบท 4K
- ค่าใช้จ่ายในการปรับแต่งเองค่อนข้างต่ำ ($ 0.008 สำหรับโทเค็น 1K ของชุดข้อมูล) แต่ปัญหาหลักคือค่าใช้จ่ายการอนุมาน-เนื่องจากรุ่นที่ปรับแต่งจะถูกใช้โดยคุณเท่านั้นการอนุมานจะมีค่าใช้จ่าย 8 เท่าเมื่อเทียบกับเทอร์โบ 4K ปกติ
- แบบจำลองการปรับแต่งไม่สามารถใช้ร่วมกันระหว่างบัญชี OpenAI ที่แตกต่างกันดังนั้นวิธีเดียวที่จะมีการปรับแต่ง "เหมือนกัน" คือการทำงานปรับแต่งในบัญชีแยกต่างหากทั้งหมดที่คุณต้องการใช้
- ชุดข้อมูลสำหรับการปรับแต่งจะต้องเป็น SFW 100% เพราะในการเสนอราคา OpenAI-"ข้อมูลการฝึกอบรมการปรับแต่งจะผ่าน API การกลั่นกรองของเราและระบบการกลั่นกรอง GPT-4 เพื่อตรวจจับข้อมูลการฝึกอบรมที่ไม่ปลอดภัยซึ่งขัดแย้งกับมาตรฐานความปลอดภัยของเรา" API การกลั่นกรองนั้นค่อนข้างเข้มงวดดังนั้นสิ่งต่าง ๆ เช่น "การดูดนิ้ว" จะไม่ผ่าน
- เจ้าของบัญชีจะได้รับอีเมลเมื่อมีการปรับแต่งเสร็จสิ้น
การอ้างอิง
