GPTRouter

GPTROUTER

您的AI模型网关 - 平稳管理多个LLM和图像模型，加快响应加快响应，并确保不间断的可靠性。

为什么要GPTROUTER？

在Writesonic中，经过三年的大型语言模型，我们确定了关键的挑战，并建立了GPTROUTER来解决它们。

解决现实世界的挑战：

1. 独立模型：不要将所有鸡蛋都放在一个篮子里。 GPTROUTER可以让您摆脱仅依靠OpenAI等AI模型的局限性。如果一个型号降低了，则GPTROUTER可以通过无缝切换到另一种模型来保持和运行。

2. 击败延迟：缓慢的响应时间？不再。 GPTROUTER旨在解决潜伏期问题，尤其是在GPT-4（例如GPT-4）的模型中。体验更平滑，更快的用户互动而无需延迟。

3. 多样化的模型集成：当您可以拥有更多时，为什么要安顿下来？ GPTROUTER支持多种语言和图像生成模型，提供后备选项，因此您的系统保持强大和多功能。

关键功能：

• 通用API ：将它们全部连接的一个API。轻松在OpenAI，Azure Openai，拟人化，重复，稳定扩散，cohere等模型之间进行切换。
• ？智能后备：保持服务不间断。如果您的主要选择不可用，则GPTROUTER会自动切换到替代型号。
• 自动检索：GPTROUTER智能检索失败的请求，减少了手动努力并提高可靠性。
• ⏱️快速而响应：旨在减少延迟，GPTROUTER确保您与AI模型的互动迅速有效。

支持的模型：

支持的模型	完成	流	异步完成	异步流
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
人类	✅	✅	✅	✅
复制	✅	✅	✅	✅
稳定的扩散	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
共同	✅	✅	✅	✅
还有更多	？	？	？	？

❗流媒体不适用于图像模型

？即将推出

贡献者欢迎！

快速开始

准备开始了吗？以下是：

---

先决条件

让服务器运行

• 要在本地运行GPTROUTER服务器，请在此处执行步骤
• 另外，将我们的预览部署与baseurl https://gpt-router-preview.writesonic.com/一起使用。通过在此处填写表格来获取API键。

---

服务器运行后，您可以使用我们的Python SDK或通过API文档将GPTROUTER集成到您的应用程序中。同时，我们正在研究JS和其他客户，并正在寻找贡献者来提供帮助。

使用Python SDK

使用PIP安装GPTROUTER：

pip install gptrouter

或与Conda：

conda install gptrouter -c conda-forge

用法示例

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )

发现更多信息：在此处探索流和其他示例。

---

地平线：

• 与Langchain和Llamaindex的集成，进一步扩大您的选择。

文档

有关全面文档，请访问：GPTROUTER文档

安装和设置

可以在我们的入门指南中找到详细的安装说明和设置指南。

？贡献

我们欢迎社区的捐款！如果您有兴趣改善GPTROUTER，请参阅我们的贡献指南。

？链接

• 网站
• github