Download do GPTRouter - download do código fonte GPTRouter

GPTRouter

Outro código-fonte

1.0.0

Baixar

Gptrouter

Seu gateway do modelo AI - gerencie suavemente vários LLMs e modelos de imagens, acelere as respostas e garanta confiabilidade ininterrupta.

Por que gptrouter?

Na Writesonic, após três anos navegando no mundo de grandes modelos de idiomas, identificamos os principais desafios e construímos o GPTROUTER para resolvê -los.

Resolvendo desafios do mundo real:

Independência do modelo : não coloque todos os seus ovos em uma cesta. O GPtrouter permite que você se liberte das limitações de confiar em apenas um modelo de IA como o OpenAI. Se um modelo estiver inativo, o GPTROUTER o mantém em funcionamento mudando perfeitamente para outro.
Bata a latência : tempos de resposta lenta? Não mais. O GPTRouter foi projetado para resolver problemas de latência, especialmente com modelos pesados como o GPT-4. Experimente uma interação mais suave e rápida do usuário sem atrasos.
Integração diversificada de modelos : por que se contentar com um quando você pode ter mais? O GPTRouter suporta modelos de múltiplos e gerações de imagem, fornecendo opções de fallback para que seu sistema permaneça robusto e versátil.

Principais recursos:

API universal : uma API para conectar todos eles. Alterne facilmente entre modelos como OpenAI, Azure OpenAI, Antrópico, Replicar, Difusão estável, Coere e muito mais.
? Fallbacks inteligentes : mantenha seus serviços ininterruptos. O GPTRouter muda automaticamente para modelos alternativos se sua escolha principal não estiver disponível.
PERTEIRAS AUTOMÁTICAS : O GPTROUTER experimenta de forma inteligente solicitações com falha, reduzindo o esforço manual e melhorando a confiabilidade.
⏱️ rápido e responsivo : projetado para reduzir a latência, o GPTROUTER garante que suas interações com os modelos de IA sejam rápidas e eficientes.

Modelos suportados:

Modelos suportados	Conclusão	Transmissão	Conclusão assíncrona	Streaming assíncrono
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
Antrópico	✅	✅	✅	✅
Replicar	✅	✅	✅	✅
Difusão estável	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
Coere	✅	✅	✅	✅
Mais por vir	?	?	?	?

❗ Streaming não aplicável a modelos de imagem

? Em breve

Contribuidores são bem -vindos!

Início rápido

Pronto para começar? Aqui está como:

Pré -requisitos

Colocando o servidor em execução

Para executar o servidor gptrouter localmente, siga as etapas aqui
Como alternativa, use nossa implantação de visualização com o Baseurl https://gpt-router-preview.writesonic.com/ . Obtenha sua chave da API preenchendo o formulário aqui.

Depois que o servidor estiver em execução, você pode integrar o GPTROUTER no seu aplicativo usando nosso Python SDK ou através dos documentos da API. Enquanto isso, estamos trabalhando no JS e em outros clientes e estamos procurando contribuidores para ajudar.

Usando o Python SDK

Instale o gptrouter usando o PIP:

pip install gptrouter

Ou com conda:

conda install gptrouter -c conda-forge

Exemplo de uso

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )