Unduh GPTRouter - Unduh Kode Sumber GPTRouter

GPTRouter

Kode sumber lainnya

1.0.0

Unduh

Gptrouter

AI Model Gateway Anda - Kelola beberapa LLM dan model gambar dengan lancar, mempercepat respons, dan memastikan keandalan tanpa henti.

Mengapa Gptrouter?

Di Writesonic, setelah tiga tahun menavigasi dunia model bahasa besar, kami mengidentifikasi tantangan utama dan membangun gptrouter untuk menyelesaikannya.

Memecahkan tantangan dunia nyata:

Model Independence : Jangan menaruh semua telur Anda dalam satu keranjang. Gptrouter memungkinkan Anda membebaskan diri dari keterbatasan mengandalkan hanya satu model AI seperti openai. Jika satu model turun, GPTroutter membuat Anda tetap terjaga dan berjalan dengan beralih ke yang lain.
Kalahkan latensi : Waktu respons yang lambat? Tidak lagi. GPtrouter dirancang untuk mengatasi masalah latensi, terutama dengan model besar seperti GPT-4. Rasakan interaksi pengguna yang lebih halus dan lebih cepat tanpa penundaan.
Integrasi Model Beragam : Mengapa puas dengan satu ketika Anda dapat memiliki lebih banyak? GPtrouter mendukung berbagai model pembuatan gambar dan gambar, memberikan opsi fallback sehingga sistem Anda tetap kuat dan serbaguna.

Fitur Utama:

API Universal : Satu API untuk menghubungkan semuanya. Mudah beralih di antara model seperti OpenAi, Azure OpenAi, Anthropic, Replikat, difusi stabil, kohhere, dan banyak lagi.
? Smart Fallbacks : Jaga agar layanan Anda tidak terputus. GPtrouter secara otomatis beralih ke model alternatif jika pilihan utama Anda tidak tersedia.
Retries Otomatis : GPTrouter dengan cerdas mengulangi permintaan yang gagal, mengurangi upaya manual dan meningkatkan keandalan.
⏱️ Cepat dan responsif : Dirancang untuk mengurangi latensi, Gptrouter memastikan interaksi Anda dengan model AI cepat dan efisien.

Model yang Didukung:

Model yang didukung	Penyelesaian	Mengalir	Penyelesaian Async	Streaming async
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
Antropik	✅	✅	✅	✅
Mengulangi	✅	✅	✅	✅
Difusi stabil	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
Berpadu	✅	✅	✅	✅
Lebih banyak yang akan datang	?	?	?	?

❗ Streaming tidak berlaku untuk model gambar

? Segera hadir

Kontributor selamat datang!

Awal yang cepat

Siap Memulai? Begini caranya:

Prasyarat

Menjalankan server

Untuk menjalankan server GPtrouter secara lokal, ikuti langkah -langkah di sini
Atau, gunakan penyebaran pratinjau kami dengan baseUrl https://gpt-router-preview.writesonic.com/ . Dapatkan kunci API Anda dengan mengisi formulir di sini.

Setelah server berjalan, Anda dapat mengintegrasikan GPtrouter ke dalam aplikasi Anda menggunakan Python SDK kami atau melalui API Documents. Sementara itu, kami sedang mengerjakan JS dan klien lain dan mencari kontributor untuk membantu.

Menggunakan Python SDK

Instal GPtrouter menggunakan PIP:

pip install gptrouter

Atau dengan conda:

conda install gptrouter -c conda-forge

Contoh Penggunaan

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )