gpt cost estimator

Costestimator para OpenAI com integração TQDM?

A classe CostEstimator oferece uma maneira conveniente de estimar o custo do uso dos modelos GPT-3.5 e GPT-4 do OpenAI. Ele deve ser usado em um loop com tqdm para rastrear e exibir a estimativa de custo em tempo real.

? Características:

• Integração do TQDM : integra -se perfeitamente nos loops alimentados por tqdm e exibe o custo de cada chamada da API e o custo total acumulado.
• Sinônimos de modelo : alterne facilmente entre versões ou nomes do modelo.
• Respostas simuladas : gerar falso? Respostas da API para estimar custos sem fazer solicitações reais de API.
• Redução de custos : exibir o estimado? custo por solicitação e o custo acumulado.

? Uso:

A classe Costestimator foi projetada para ser usada em notebooks Jupyter, consulte o Notebook Exemplo para uma demonstração.

1. Decore sua função de chamada da API :

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. Ligue para a API de dentro de um loop :

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. Redefina o custo total :

    CostEstimator . reset ()

4. Leia o custo total :

    CostEstimator . get_total_cost ()

5. ** Novo substituto de preço **

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

? Dependências:

• tiktoken : usado para determinar o número de tokens em uma string sem fazer uma chamada de API.
• openai : cliente oficial do Openai Python.
• tqdm : fornece a barra de progresso em tempo real que exibe os detalhes do custo. Essencial para o rastreamento de custos fácil de usar.
• lorem_text : gera respostas da API simulada.

? Instalação:

Instale via Pip

pip install gpt-cost-estimator

Instalação manual

pip install tiktoken openai tqdm lorem_text

Clone este repositório e importe o CostEstimator em seu script.

Como o TQDM está integrado:

A barra de progresso alimentada pelo tqdm fornece feedback instantâneo para cada chamada de API. Esteja você zombando da chamada ou se conecta à API real, verá o custo da solicitação atual e o gasto total até agora. Oferece uma maneira visual e fácil de usar os custos.

Notas:

• Certifique -se de que os detalhes dos preços no estimador correspondam aos preços oficiais do OpenAI.
• Sempre teste o estimador com seus casos de uso específicos para garantir a precisão.
• A barra de progresso aparecerá no seu notebook ou console Jupyter, onde o script é executado.

Alterar log:

• 2024-01-26 Preços atualizados e adicionaram modelos adicionais.
• 2024-11-25 Preços atualizados, adicionados novos modelos. Substituição de preço adicionada.

Licença:

A licença do MIT é uma licença permissiva de código aberto. Ele permite a reutilização do código com restrições mínimas, exigindo apenas atribuição e inclusão da licença original. ?