gpt cost estimator

与TQDM集成的OpenAI的COSTIMIMITATER？

CostEstimator类提供了一种方便的方式来估计使用OpenAI的GPT-3.5和GPT-4型号的成本。它旨在在带有tqdm的循环中用于实时跟踪和显示成本估计。

？特征：

• TQDM集成：无缝集成到tqdm驱动的循环中，并显示每个API调用的成本和累积的总成本。
• 模型同义词：轻松在模型版本或名称之间切换。
• 模拟响应：产生假？ API对估计成本的响应而无需提出实际API请求。
• 成本分解：显示估计？每个要求的成本和累积成本。

？用法：

Costimimator类旨在用于Jupyter笔记本电脑中，请参阅示例笔记本以进行演示。

1. 装饰您的API呼叫功能：

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. 从循环中调用API ：

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. 重置总成本：

    CostEstimator . reset ()

4. 阅读总成本：

    CostEstimator . get_total_cost ()

5. **新价格覆盖**

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

？依赖性：

• tiktoken ：用于确定字符串中的令牌数，而无需进行API调用。
• openai ：官方Openai Python客户。
• tqdm ：提供显示成本细节的实时进度栏。对于用户友好的成本跟踪至关重要。
• lorem_text ：生成模拟API响应。

？安装：

通过PIP安装

pip install gpt-cost-estimator

手动安装

pip install tiktoken openai tqdm lorem_text

克隆此存储库，并在您的脚本中导入CostEstimator 。

如何集成TQDM：

由tqdm提供动力的进度条为每个API调用提供即时反馈。无论您是嘲笑通话还是连接到真正的API，您都会看到当前请求的成本和到目前为止的总支出。它提供了一种视觉和用户友好的方式来监视成本。

笔记：

• 确保估算器中的定价细节匹配OpenAI的官方定价。
• 始终使用特定用例测试估计器，以确保准确性。
• 进度栏将出现在您的Jupyter笔记本或脚本运行的控制台中。

更改日志：

• 2024-01-26更新了价格，并增加了其他型号。
• 2024-11-25更新的价格，增加了新型号。增加价格覆盖。

执照：

麻省理工学院许可证是允许的开源许可证。它允许使用最小限制的代码重复使用，同时仅需要归因和包含原始许可证。 ？