GPTRouter下載GPTRouter源代碼下載

GPTRouter

其他源碼

1.0.0

下載

GPTROUTER

您的AI模型網關 - 平穩管理多個LLM和圖像模型，加快響應加快響應，並確保不間斷的可靠性。

為什麼要GPTROUTER？

在Writesonic中，經過三年的大型語言模型，我們確定了關鍵的挑戰，並建立了GPTROUTER來解決它們。

解決現實世界的挑戰：

獨立模型：不要將所有雞蛋都放在一個籃子裡。 GPTROUTER可以讓您擺脫僅依靠OpenAI等AI模型的局限性。如果一個型號降低了，則GPTROUTER可以通過無縫切換到另一種模型來保持和運行。
擊敗延遲：緩慢的響應時間？不再。 GPTROUTER旨在解決潛伏期問題，尤其是在GPT-4（例如GPT-4）的模型中。體驗更平滑，更快的用戶互動而無需延遲。
多樣化的模型集成：當您可以擁有更多時，為什麼要安頓下來？ GPTROUTER支持多種語言和圖像生成模型，提供後備選項，因此您的系統保持強大且通用。

關鍵功能：

通用API ：將它們全部連接的一個API。輕鬆在OpenAI，Azure Openai，擬人化，重複，穩定擴散，cohere等模型之間進行切換。
？智能後備：保持服務不間斷。如果您的主要選擇不可用，則GPTROUTER會自動切換到替代型號。
自動檢索：GPTROUTER智能檢索失敗的請求，減少了手動努力並提高可靠性。
⏱️快速而響應：旨在減少延遲，GPTROUTER確保您與AI模型的互動迅速有效。

支持的模型：

支持的模型	完成	流	異步完成	異步流
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
人類	✅	✅	✅	✅
複製	✅	✅	✅	✅
穩定的擴散	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
共同	✅	✅	✅	✅
還有更多	？	？	？	？

❗流媒體不適用於圖像模型

？即將推出

貢獻者歡迎！

快速開始

準備開始了嗎？以下是：

先決條件

讓服務器運行

要在本地運行GPTROUTER服務器，請在此處執行步驟
另外，將我們的預覽部署與baseurl https://gpt-router-preview.writesonic.com/一起使用。通過在此處填寫表格來獲取API鍵。

服務器運行後，您可以使用我們的Python SDK或通過API文檔將GPTROUTER集成到您的應用程序中。同時，我們正在研究JS和其他客戶，並正在尋找貢獻者來提供幫助。

使用Python SDK

使用PIP安裝GPTROUTER：

pip install gptrouter

或與Conda：

conda install gptrouter -c conda-forge

用法示例

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )