gpt cost estimator

Costestimator für OpenAI mit TQDM -Integration?

Die CostEstimator Klasse bietet eine bequeme Möglichkeit, die Kosten für die Verwendung von OpenAI-Modellen von OpenAIs GPT-3,5 und GPT-4 abzuschätzen. Es soll in einer Schleife mit tqdm verwendet werden, um die Kostenschätzung in Echtzeit zu verfolgen und anzuzeigen.

? Merkmale:

• TQDM -Integration : Integriert sich nahtlos in tqdm -Antriebsschleifen und zeigt die Kosten für jeden API -Aufruf und die akkumulierten Gesamtkosten an.
• Modellsynonyme : Einfach zwischen Modellversionen oder Namen wechseln.
• Scheinantworten : Fälschung generieren? API -Antworten zur Schätzung der Kosten ohne tatsächliche API -Anfragen.
• Kostenaufschlüsselung : Zeigen Sie die geschätzten an? Kosten pro Anfrage und die angesammelten Kosten.

? Verwendung:

Die ostestimatorische Klasse wurde so konzipiert, dass sie in Jupyter -Notizbüchern verwendet werden soll. Siehe Beispielbuch für eine Demonstration.

1. Dekorieren Sie Ihre API -Anruffunktion :

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. Rufen Sie die API in einer Schleife an :

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. Gesamtkosten zurücksetzen :

    CostEstimator . reset ()

4. Gesamtkosten lesen :

    CostEstimator . get_total_cost ()

5. ** Neue Preisüberschreibung **

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

? Abhängigkeiten:

• tiktoken : Wird verwendet, um die Anzahl der Token in einer Zeichenfolge zu bestimmen, ohne einen API -Anruf zu tätigen.
• openai : Offizieller Openai Python -Kunde.
• tqdm : Bietet die Echtzeit-Fortschrittsleiste, in der die Kostendetails angezeigt werden. Wesentlich für benutzerfreundliche Kostenverfolgung.
• lorem_text : Erzeugt Schein -API -Antworten.

? Installation:

Über PIP einbauen

pip install gpt-cost-estimator

Manuelle Installation

pip install tiktoken openai tqdm lorem_text

Klonen Sie dieses Repository und importieren Sie den CostEstimator in Ihrem Skript.

Wie TQDM integriert ist:

Die von tqdm betriebene Fortschrittsleiste bietet sofortiges Feedback für jeden API -Aufruf. Unabhängig davon, ob Sie den Anruf verspotten oder sich mit der realen API verbinden, werden Sie die Kosten der aktuellen Anfrage und die bisherigen Gesamtausgaben sehen. Es bietet eine visuelle und benutzerfreundliche Methode zur Überwachung der Kosten.

Anmerkungen:

• Stellen Sie sicher, dass die Preisdetails in der offiziellen Preisgestaltung von OpenAI von OpenAI übereinstimmen.
• Testen Sie den Schätzer immer mit Ihren spezifischen Anwendungsfällen, um die Genauigkeit sicherzustellen.
• Die Fortschrittsleiste erscheint in Ihrem Jupyter -Notizbuch oder Ihrer Konsole, in der das Skript ausgeführt wird.

Protokoll ändern:

• 2024-01-26 Aktualisierte Preise und zusätzliche Modelle.
• 2024-11-25 Aktualisierte Preise, neue Modelle hinzugefügt. Preisüberschreibung hinzugefügt.

Lizenz:

Die MIT-Lizenz ist eine freizügige Open-Source-Lizenz. Es ermöglicht die Wiederverwendung von Code mit minimalen Einschränkungen, während nur die Zuordnung und Einbeziehung der ursprünglichen Lizenz erforderlich ist. ?