gpt cost estimator

¿Costestimator para OpenAI con integración TQDM?

La clase CostEstimator ofrece una forma conveniente de estimar el costo de usar los modelos GPT-3.5 y GPT-4 de OpenAI. Está destinado a usarse en un bucle con tqdm para rastrear y mostrar la estimación de costos en tiempo real.

? Características:

• Integración TQDM : se integra perfectamente en bucles alimentados con tqdm y muestra el costo de cada llamada de API y el costo total acumulado.
• Sinónimos del modelo : cambie fácilmente entre versiones o nombres del modelo.
• Respuestas simuladas : ¿Generar falso? Respuestas de API para estimar los costos sin realizar solicitudes de API reales.
• Desglose de costos : ¿Muestra el estimado? Costo por solicitud y el costo acumulado.

? Uso:

La clase Costestimator fue diseñada para usarse en cuadernos Jupyter, consulte el cuaderno de ejemplo para una demostración.

1. Decora tu función de llamada API :

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. Llame a la API desde dentro de un bucle :

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. Restablecer el costo total :

    CostEstimator . reset ()

4. Leer Costo total :

    CostEstimator . get_total_cost ()

5. ** Nuevo anulación de precios **

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

? Dependencias:

• tiktoken : se usa para determinar el número de tokens en una cadena sin hacer una llamada API.
• openai : cliente oficial de Openai Python.
• tqdm : proporciona la barra de progreso en tiempo real que muestra los detalles de los costos. Esencial para el seguimiento de costos fácil de usar.
• lorem_text : genera respuestas simuladas de API.

? Instalación:

Instalar a través de PIP

pip install gpt-cost-estimator

Instalación manual

pip install tiktoken openai tqdm lorem_text

Clone este repositorio e importe el CostEstimator en su script.

Cómo se integra TQDM:

La barra de progreso impulsada por tqdm proporciona comentarios instantáneos para cada llamada de API. Ya sea que se esté burlando de la llamada o conecte a la API real, verá el costo de la solicitud actual y el gasto total hasta ahora. Ofrece una forma visual y fácil de usar para monitorear los costos.

Notas:

• Asegúrese de que los detalles de precios en el estimador coincidan con el precio oficial de OpenAI.
• Siempre pruebe el estimador con sus casos de uso específicos para garantizar la precisión.
• La barra de progreso aparecerá en su cuaderno o consola Jupyter donde se ejecuta el script.

Cambiar registro:

• 2024-01-26 Precios actualizados y agregó modelos adicionales.
• 2024-11-25 Precios actualizados, agregaron nuevos modelos. Anulación de precios agregada.

Licencia:

La licencia MIT es una licencia de código abierto permisivo. Permite la reutilización del código con restricciones mínimas, al tiempo que requiere solo la atribución y la inclusión de la licencia original. ?