Descarga GPTRouter - Descargar el código fuente GPTRouter

GPTRouter

Otro código fuente

1.0.0

Descargar

Gptrouter

Su AI Model Gateway: administre suavemente múltiples LLM y modelos de imagen, acelera las respuestas y garantice la confiabilidad sin parar.

¿Por qué GPTrouter?

En Writesonic, después de tres años de navegar por el mundo de los modelos de idiomas grandes, identificamos desafíos clave y construimos GPTrouter para resolverlos.

Resolver desafíos del mundo real:

Independencia del modelo : no ponga todos sus huevos en una canasta. GPTrouter le permite liberarse de las limitaciones de confiar en un solo modelo de IA como OpenAI. Si un modelo está inactivo, Gptrouter lo mantiene en funcionamiento cambiando sin problemas a otro.
Batir la latencia : ¿Tiempos de respuesta lentos? Ya no. GPTrouter está diseñado para abordar los problemas de latencia, especialmente con modelos fuertes como GPT-4. Experimente una interacción de usuario más suave y rápida sin demoras.
Integración de modelo diversa : ¿por qué conformarse con uno cuando puede tener más? GPTrouter admite múltiples modelos de generación de idiomas e imágenes, proporcionando opciones de respaldo para que su sistema sea robusto y versátil.

Características clave:

API universal : una API para conectarlos a todos. Cambie fácilmente entre modelos como OpenAi, Azure OpenAi, antrópico, réplica, difusión estable, cohere y más.
? Fallbacks inteligentes : mantenga sus servicios ininterrumpidos. GPTrouter cambia automáticamente a modelos alternativos si su elección principal no está disponible.
Vueltas automáticas : GPTrouter Realice de manera inteligente las solicitudes fallidas, reduciendo el esfuerzo manual y mejorando la confiabilidad.
⏱️ Rápido y receptivo : diseñado para reducir la latencia, GPTrouter asegura que sus interacciones con los modelos de IA sean rápidas y eficientes.

Modelos compatibles:

Modelos compatibles	Terminación	Transmisión	Finalización de asíncrono	Transmisión de asíncrono
Opadai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
Antrópico	✅	✅	✅	✅
Reproducir exactamente	✅	✅	✅	✅
Difusión estable	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
Adherirse	✅	✅	✅	✅
Más por venir	?	?	?	?

❗ Transmisión no aplicable a los modelos de imágenes

? Muy pronto

¡Los contribuyentes bienvenidos!

Comienzo rápido

¿Listo para comenzar? Aquí está como:

Requisitos previos

Obtener el servidor en funcionamiento

Para ejecutar el servidor GPTrouter localmente, siga los pasos aquí
Alternativamente, use nuestra implementación de vista previa con BaseUrl https://gpt-router-preview.writesonic.com/ . Obtenga su clave API completando el formulario aquí.

Una vez que el servidor se está ejecutando, puede integrar GPTrouter en su aplicación utilizando nuestro Python SDK o a través de los documentos API. Mientras tanto, estamos trabajando en JS y otros clientes y estamos buscando contribuyentes para ayudar.

Usando el SDK de Python

Instale GPTrouter usando PIP:

pip install gptrouter

O con conda:

conda install gptrouter -c conda-forge

Ejemplo de uso

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )