gpt cost estimator

與TQDM集成的OpenAI的COSTIMIMITATER？

CostEstimator類提供了一種方便的方式來估計使用OpenAI的GPT-3.5和GPT-4型號的成本。它旨在在帶有tqdm的循環中用於實時跟踪和顯示成本估計。

？特徵：

• TQDM集成：無縫集成到tqdm驅動的循環中，並顯示每個API調用的成本和累積的總成本。
• 模型同義詞：輕鬆在模型版本或名稱之間切換。
• 模擬響應：產生假？ API對估計成本的響應而無需提出實際API請求。
• 成本分解：顯示估計？每個要求的成本和累積成本。

？用法：

Costimimator類旨在用於Jupyter筆記本電腦中，請參閱示例筆記本以進行演示。

1. 裝飾您的API呼叫功能：

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. 從循環中調用API ：

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. 重置總成本：

    CostEstimator . reset ()

4. 閱讀總成本：

    CostEstimator . get_total_cost ()

5. **新價格覆蓋**

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

？依賴性：

• tiktoken ：用於確定字符串中的令牌數，而無需進行API調用。
• openai ：官方Openai Python客戶。
• tqdm ：提供顯示成本細節的實時進度欄。對於用戶友好的成本跟踪至關重要。
• lorem_text ：生成模擬API響應。

？安裝：

通過PIP安裝

pip install gpt-cost-estimator

手動安裝

pip install tiktoken openai tqdm lorem_text

克隆此存儲庫，並在您的腳本中導入CostEstimator 。

如何集成TQDM：

由tqdm提供動力的進度條為每個API調用提供即時反饋。無論您是嘲笑通話還是連接到真正的API，您都會看到當前請求的成本和到目前為止的總支出。它提供了一種視覺和用戶友好的方式來監視成本。

筆記：

• 確保估算器中的定價細節匹配OpenAI的官方定價。
• 始終使用特定用例測試估計器，以確保准確性。
• 進度欄將出現在您的Jupyter筆記本或腳本運行的控制台中。

更改日誌：

• 2024-01-26更新了價格，並增加了其他型號。
• 2024-11-25更新的價格，增加了新型號。增加價格覆蓋。

執照：

麻省理工學院許可證是允許的開源許可證。它允許使用最小限制的代碼重複使用，同時僅需要歸因和包含原始許可證。 ？