gpt cost estimator

Costestimator สำหรับ OpenAI กับการรวม TQDM?

คลาส CostEstimator นำเสนอวิธีที่สะดวกในการประเมินค่าใช้จ่ายในการใช้รุ่น GPT-3.5 และ GPT-4 ของ OpenAI มันมีจุดประสงค์เพื่อใช้ในลูปที่มี tqdm เพื่อติดตามและแสดงการประมาณค่าใช้จ่ายตามเวลาจริง

- คุณสมบัติ:

• การรวม TQDM : รวมเข้ากับลูปขับเคลื่อน tqdm ได้อย่างราบรื่นและแสดงค่าใช้จ่ายของการโทร API แต่ละครั้งและค่าใช้จ่ายทั้งหมดที่สะสม
• โมเดลคำพ้องความหมาย : สลับระหว่างรุ่นหรือชื่อรุ่นได้อย่างง่ายดาย
• การตอบสนองจำลอง : สร้างปลอม? การตอบสนอง API เพื่อประเมินค่าใช้จ่ายโดยไม่ต้องร้องขอ API จริง
• การแบ่งต้นทุน : แสดงโดยประมาณ? ค่าใช้จ่ายต่อคำขอและค่าใช้จ่ายสะสม

- การใช้งาน:

คลาส Costestimator ได้รับการออกแบบให้ใช้ในสมุดบันทึก Jupyter ดูสมุดบันทึกตัวอย่างสำหรับการสาธิต

1. ตกแต่งฟังก์ชั่นการโทร API ของคุณ :

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. เรียก API จากภายในวง :

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. รีเซ็ตค่าใช้จ่ายทั้งหมด :

    CostEstimator . reset ()

4. อ่านค่าใช้จ่ายทั้งหมด :

    CostEstimator . get_total_cost ()

5. ** การแทนที่ราคา ใหม่ **

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

- การพึ่งพา:

• tiktoken : ใช้เพื่อกำหนดจำนวนโทเค็นในสตริงโดยไม่ต้องโทร API
• openai : ไคลเอนต์ Openai Python อย่างเป็นทางการ
• tqdm : จัดเตรียมแถบความคืบหน้าแบบเรียลไทม์ที่แสดงรายละเอียดต้นทุน จำเป็นสำหรับการติดตามต้นทุนที่ใช้งานง่าย
• lorem_text : สร้างการตอบสนอง Mock API

- การติดตั้ง:

ติดตั้งผ่าน PIP

pip install gpt-cost-estimator

การติดตั้งด้วยตนเอง

pip install tiktoken openai tqdm lorem_text

โคลนที่เก็บนี้และนำเข้า CostEstimator ในสคริปต์ของคุณ

TQDM รวมเข้าด้วยกันอย่างไร:

แถบความคืบหน้าขับเคลื่อนโดย tqdm ให้ข้อเสนอแนะทันทีสำหรับการโทร API ทุกครั้ง ไม่ว่าคุณจะเยาะเย้ยการโทรหรือเชื่อมต่อกับ API จริงคุณจะเห็นค่าใช้จ่ายของคำขอปัจจุบันและค่าใช้จ่ายทั้งหมด มันมีวิธีที่มองเห็นและใช้งานง่ายในการตรวจสอบค่าใช้จ่าย

หมายเหตุ:

• ตรวจสอบรายละเอียดการกำหนดราคาในการกำหนดราคาอย่างเป็นทางการของ OpenAI
• ทดสอบตัวประมาณด้วยกรณีการใช้งานเฉพาะของคุณเสมอเพื่อให้แน่ใจว่าถูกต้อง
• แถบความคืบหน้าจะปรากฏในสมุดบันทึก Jupyter หรือคอนโซลของคุณที่สคริปต์ทำงาน

เปลี่ยนบันทึก:

• 2024-01-26 ราคาที่อัปเดตและเพิ่มโมเดลเพิ่มเติม
• 2024-11-25 ราคาที่อัปเดตเพิ่มรุ่นใหม่ เพิ่มราคาแทนที่

ใบอนุญาต:

ใบอนุญาต MIT เป็นใบอนุญาตโอเพนซอร์ซที่อนุญาต ช่วยให้สามารถนำรหัสกลับมาใช้ใหม่ได้โดยมีข้อ จำกัด น้อยที่สุดในขณะที่ต้องการเพียงการระบุแหล่งที่มาและการรวมใบอนุญาตเดิม -