gpt cost estimator

Costestimator untuk openai dengan integrasi TQDM?

Kelas CostEstimator menawarkan cara yang nyaman untuk memperkirakan biaya menggunakan model GPT-3.5 dan GPT-4 Openai. Ini dimaksudkan untuk digunakan dalam loop dengan tqdm untuk melacak dan menampilkan estimasi biaya secara real-time.

? Fitur:

• Integrasi TQDM : Dengan mulus yang diintegrasikan ke dalam loop bertenaga tqdm dan menampilkan biaya setiap panggilan API dan total biaya total.
• Sinonim Model : Mudah beralih antara versi model atau nama.
• Respons tiruan : menghasilkan palsu? Respons API untuk memperkirakan biaya tanpa membuat permintaan API yang sebenarnya.
• Kerusakan biaya : Tampilkan perkiraan? Biaya per permintaan dan biaya akumulasi.

? Penggunaan:

Kelas Costestimator dirancang untuk digunakan dalam buku catatan Jupyter, lihat contoh notebook untuk demonstrasi.

1. Hiasi fungsi panggilan API Anda :

    import openai 
   from gpt_cost_estimator import CostEstimator
   
   @ CostEstimator ()
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

2. Hubungi API dari dalam satu loop :

    for message in tqdm ( messages ):
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = False )
   
       # Or if you're mocking the API call:
       response = query_openai ( model = "gpt-3.5-turbo-0613" , messages = [ message ], mock = True )     
   
   print () # We need to print a newline to show the total cost

3. Setel ulang total biaya :

    CostEstimator . reset ()

4. Baca Total Biaya :

    CostEstimator . get_total_cost ()

5. ** override harga baru **

    from cost_estimator import CostEstimator
   
   # Define custom prices for models
   custom_prices = {
       "gpt-4o-mini" : { "input" : 0.0002 , "output" : 0.0007 },
   }
   
   # Instantiate the CostEstimator with custom prices
   estimator = CostEstimator ( price_overrides = custom_prices )
   
   # Use the estimator as usual
   @ estimator
   def query_openai ( model , messages , ** kwargs ):
       args_to_remove = [ 'mock' , 'completion_tokens' ]
   
       for arg in args_to_remove :
         if arg in kwargs :
             del kwargs [ arg ]
   
       return openai . ChatCompletion . create (
           model = model ,
           messages = messages ,
           ** kwargs )

? Ketergantungan:

• tiktoken : Digunakan untuk menentukan jumlah token dalam string tanpa melakukan panggilan API.
• openai : Klien Python Openai Resmi.
• tqdm : Menyediakan bilah kemajuan real-time yang menampilkan detail biaya. Penting untuk pelacakan biaya yang ramah pengguna.
• lorem_text : Menghasilkan respons API tiruan.

? Instalasi:

Instal melalui PIP

pip install gpt-cost-estimator

Instalasi Manual

pip install tiktoken openai tqdm lorem_text

Kloning repositori ini dan impor CostEstimator dalam skrip Anda.

Bagaimana TQDM terintegrasi:

Bilah kemajuan yang ditenagai oleh tqdm memberikan umpan balik instan untuk setiap panggilan API. Apakah Anda mengejek panggilan atau menghubungkan ke API asli, Anda akan melihat biaya permintaan saat ini dan total pengeluaran sejauh ini. Ini menawarkan cara visual dan ramah pengguna untuk memantau biaya.

Catatan:

• Pastikan rincian harga di penaksir penaksir harga resmi Openai.
• Selalu uji estimator dengan kasus penggunaan spesifik Anda untuk memastikan akurasi.
• Bilah kemajuan akan muncul di buku catatan atau konsol Jupyter Anda di mana skrip berjalan.

Ubah log:

• 2024-01-26 harga yang diperbarui dan menambahkan model tambahan.
• 2024-11-25 Harga yang diperbarui, menambahkan model baru. Tambahkan harga override.

Lisensi:

Lisensi MIT adalah lisensi open-source permisif. Ini memungkinkan untuk menggunakan kembali kode dengan batasan minimal, sementara hanya membutuhkan atribusi dan dimasukkannya lisensi asli. ?