GPTRouter

gptrouter

AIモデルゲートウェイ - 複数のLLMと画像モデルをスムーズに管理し、応答をスピードアップし、ノンストップの信頼性を確保します。

なぜgptrouter？

Writesonicでは、3年間の大規模な言語モデルの世界をナビゲートした後、重要な課題を特定し、それらを解決するためにGPTrouterを構築しました。

実世界の課題の解決：

1. モデルの独立性：すべての卵を1つのバスケットに入れないでください。 gptrouterを使用すると、Openaiのような1つのAIモデルに頼ることの制限から解放できます。 1つのモデルがダウンしている場合、Gptrouterはシームレスに別のモデルに切り替えて実行し続けます。

2. 遅延を打ち負かす：応答時間が遅い？もうない。 GPTROUTERは、特にGPT-4などの多額のモデルを使用して、遅延の問題に取り組むように設計されています。遅延せずに、よりスムーズでより高速なユーザーインタラクションを体験してください。

3. 多様なモデル統合：もっと多くを手に入れることができるのに、なぜそれを解決するのですか？ GPTROUTERは、複数の言語と画像生成モデルをサポートしており、システムが堅牢で多用途のままであるため、フォールバックオプションを提供します。

主な機能：

• ユニバーサルAPI ：すべてを接続する1つのAPI。 Openai、Azure Openai、人為的、複製、安定した拡散、炭などのモデルを簡単に切り替えます。
• ？スマートフォールバック：サービスを途切れることなく保ちます。 Gptrouterは、主要な選択が利用できない場合、代替モデルに自動的に切り替えます。
• 自動再試行：gptrouterはインテリジェントに失敗した要求を再検索し、手動の努力を減らし、信頼性を向上させます。
• ⏱§高速で応答性：レイテンシを減らすように設計されたGPTROUTERは、AIモデルとの相互作用が迅速かつ効率的になることを保証します。

サポートされているモデル：

サポートされているモデル	完了	ストリーミング	非同期完了	非同期ストリーミング
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
人類	✅	✅	✅	✅
複製します	✅	✅	✅	✅
安定した拡散	✅	❗	✅	❗
ダレ3	✅	❗	✅	❗
協力します	✅	✅	✅	✅
もっと来る	？	？	？	？

imageモデルには適用されないストリーミング

？近日公開

貢献者を歓迎します！

クイックスタート

始める準備はできましたか？方法は次のとおりです。

---

前提条件

サーバーを実行する

• gptrouterサーバーをローカルに実行するには、こちらの手順に従ってください
• または、Baseurl https://gpt-router-preview.writesonic.com/でプレビュー展開を使用してください。ここでフォームに記入して、APIキーを取得します。

---

サーバーが実行されたら、Python SDKまたはAPI Docsを使用してGPTrouterをアプリケーションに統合できます。一方、私たちはJSや他のクライアントに取り組んでおり、支援する貢献者を探しています。

Python SDKを使用します

PIPを使用してgptrouterをインストールします。

pip install gptrouter

またはコンドラと：

conda install gptrouter -c conda-forge

使用例

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )

詳細をご覧ください：ここでストリーミングやその他の例を探索してください。

---

地平線上：

• LangchainおよびLlamaindexとの統合により、オプションがさらに拡大します。

ドキュメント

包括的なドキュメントについては、gptrouterドキュメントをご覧ください

インストールとセットアップ

詳細なインストール手順とセットアップガイダンスは、Getting Guideにあります。

？貢献

コミュニティからの貢献を歓迎します！ Gptrouterの改善に興味がある場合は、貢献ガイドラインをご覧ください。

？リンク

• Webサイト
• github