Téléchargement GPTRouter - Téléchargement du code source GPTRouter

GPTRouter

Autre code source

1.0.0

Télécharger

Gptrouter

Votre passerelle de modèle AI - Gérez en douceur plusieurs LLM et modèles d'images, accélérez les réponses et assurez la fiabilité non-stop.

Pourquoi gptrouter?

Chez Witesonic, après trois ans de navigation dans le monde des modèles de grands langues, nous avons identifié des défis clés et construit GPTROUTER pour les résoudre.

Résoudre les défis du monde réel:

Indépendance du modèle : ne mettez pas tous vos œufs dans un seul panier. GPTROUTER vous permet de vous libérer des limites de compter sur un seul modèle d'IA comme Openai. Si un modèle est en baisse, GPTROUTER vous maintient opérationnel en passant de manière transparente à un autre.
Battre la latence : les temps de réponse lents? Pas plus. GPTROUTER est conçu pour s'attaquer aux problèmes de latence, en particulier avec des modèles élevés comme GPT-4. Découvrez une interaction utilisateur plus fluide et plus rapide sans retards.
Intégration des modèles diversifiés : pourquoi en contenter un alors que vous pouvez en avoir plus? GPTROUTER prend en charge plusieurs modèles de génération de langage et d'image, offrant des options de secours afin que votre système reste robuste et polyvalent.

Caractéristiques clés:

API universelle : une API pour les connecter toutes. Basculer facilement entre des modèles comme Openai, Azure OpenAI, anthropique, répliqué, diffusion stable, cohére, etc.
? Smart Fallbacks : Gardez vos services sans interruption. GPTROUTER passe automatiquement à des modèles alternatifs si votre choix principal n'est pas disponible.
Retries automatiques : GPTROUTER rétracte intelligemment les demandes échouées, réduisant l'effort manuel et améliorant la fiabilité.
⏱️ Rapide et réactif : conçu pour réduire la latence, GPTROUTER garantit que vos interactions avec les modèles d'IA sont rapides et efficaces.

Modèles pris en charge:

Modèles pris en charge	Achèvement	Streaming	Achèvement asynchrone	Streaming asynchrone
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
Anthropique	✅	✅	✅	✅
Reproduire	✅	✅	✅	✅
Diffusion stable	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
Adhérer	✅	✅	✅	✅
Plus à venir	?	?	?	?

❗ Le streaming non applicable aux modèles d'image

? À venir

Les contributeurs sont les bienvenus!

Démarrage rapide

Prêt à commencer? Voici comment:

Condition préalable

Faire fonctionner le serveur

Pour exécuter le serveur GPTROUNER localement, suivez les étapes ici
Alternativement, utilisez notre déploiement de prévisualisation avec la baseurl https://gpt-router-preview.writesonic.com/ . Obtenez votre clé API en remplissant le formulaire ici.

Une fois le serveur en cours d'exécution, vous pouvez intégrer GPTROUNT dans votre application à l'aide de notre SDK Python ou via les documents API. Pendant ce temps, nous travaillons sur JS et d'autres clients et recherchons des contributeurs pour aider.

Utilisation du SDK Python

Installez gptrouter à l'aide de PIP:

pip install gptrouter

Ou avec conda:

conda install gptrouter -c conda-forge

Exemple d'utilisation

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )