GPTRouter

GPTrouter

Ihr KI -Modell -Gateway - Verwalten Sie mehrere LLM- und Bildmodelle reibungslos, beschleunigen Sie die Antworten und gewährleisten ununterbrochene Zuverlässigkeit.

Warum GPTrouter?

Bei Writesonic haben wir nach drei Jahren der Navigation durch die Welt der großen Sprachmodelle wichtige Herausforderungen identifiziert und GPROUSTER gebaut, um sie zu lösen.

Lösung realer Herausforderungen:

1. Modellunabhängigkeit : Legen Sie nicht alle Eier in einen Korb. Mit GPTrouter können Sie sich von den Grenzen befreien, sich auf nur ein KI -Modell wie OpenAI zu verlassen. Wenn ein Modell ausgefallen ist, hält GPRouter Sie in Betrieb, indem Sie nahtlos zu einem anderen wechseln.

2. Die Latenz schlagen : langsame Reaktionszeiten? Nicht mehr. GPROUTER wurde entwickelt, um Latenzprobleme anzugehen, insbesondere mit hohen Modellen wie GPT-4. Erleben Sie eine glattere, schnellere Benutzerinteraktion ohne Verzögerungen.

3. Verschiedene Modellintegration : Warum sollten Sie sich für einen zufrieden geben, wenn Sie mehr haben können? GPTrouter unterstützt mehrere Sprach- und Bildgenerierungsmodelle und bietet Fallback -Optionen, sodass Ihr System robust und vielseitig bleibt.

Schlüsselmerkmale:

• Universelle API : Eine API, um sie alle zu verbinden. Wechseln Sie einfach zwischen Modellen wie OpenAI, Azure Openai, Anthropic, Replicate, Stable Diffusion, Cohere und mehr.
• ? Smart Fallbacks : Halten Sie Ihre Dienste ununterbrochen. GPTrouter wechselt automatisch auf alternative Modelle, wenn Ihre primäre Wahl nicht verfügbar ist.
• Automatische Wiederholungen : GPROUSTER REPTIONS fehlgeschlagene Anfragen, reduzierte die manuellen Anstrengung und die Verbesserung der Zuverlässigkeit.
• ⏱️ Schnell und reaktionsschnell : GPROUSTER wurde zur Reduzierung der Latenz konzipiert und stellt sicher, dass Ihre Interaktionen mit KI -Modellen schnell und effizient sind.

Unterstützte Modelle:

Unterstützte Modelle	Fertigstellung	Streaming	Asynchronisierte Fertigstellung	Asynchrones Streaming
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
Anthropisch	✅	✅	✅	✅
Replizieren	✅	✅	✅	✅
Stabile Diffusion	✅	❗	✅	❗
Dalle-3	✅	❗	✅	❗
Zusammenhängen	✅	✅	✅	✅
Weitere kommen	?	?	?	?

❗ Streaming nicht für Bildmodelle anwendbar

? Bald kommen

Mitwirkende Willkommen!

Schneller Start

Bereit, loszulegen? So wie: wie:

---

Voraussetzungen

Den Server zum Laufen bringen

• Befolgen Sie hier die Schritte, um den GPROUSTER -Server lokal auszuführen
• Verwenden Sie alternativ unsere Vorschau-Bereitstellung mit der BaseURL https://gpt-router-preview.writesonic.com/ . Holen Sie sich Ihren API -Schlüssel, indem Sie das Formular hier ausfüllen.

---

Sobald der Server ausgeführt wird, können Sie GPTrouter mit unserem Python SDK oder über die API -Dokumente in Ihre Anwendung integrieren. In der Zwischenzeit arbeiten wir an JS und anderen Kunden und suchen nach Mitwirkenden, um zu helfen.

Verwenden des Python SDK

Installieren Sie den GPTrouter mit PIP:

pip install gptrouter

Oder mit Conda:

conda install gptrouter -c conda-forge

Nutzungsbeispiel

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )

Ermitteln Sie mehr: Erforschen Sie hier Streaming und andere Beispiele.

---

Am Horizont:

• Integrationen mit Langchain und Llamaindex, die Ihre Optionen noch weiter erweitern.

Dokumentation

Für umfassende Dokumentation besuchen Sie: GPTrouter -Dokumentation

Installation und Setup

Detaillierte Installationsanweisungen und Einrichtungsanleitungen finden Sie in unserem Handbuch für Erste Schritte.

? Beitragen

Wir begrüßen Beiträge aus der Community! Wenn Sie an der Verbesserung der GPROUTER interessiert sind, finden Sie in unseren Beitragsrichtlinien.

? Links

• Webseite
• Github