GPTRouter

gptrouter

AI 모델 게이트웨이 - 여러 LLM 및 이미지 모델을 원활하게 관리하고 응답 속도를 높이며 비 멈춤 안정성을 보장합니다.

왜 gptrouter인가?

Writesonic에서, 3 년 동안 대형 언어 모델의 세계를 탐색 한 후, 우리는 주요 과제를 식별하고 GPTrouter를 구축하여이를 해결했습니다.

실제 과제 해결 :

1. 모델 독립성 : 모든 계란을 한 바구니에 넣지 마십시오. GPTrouter를 사용하면 OpenAI와 같은 하나의 AI 모델에 의존하는 한계에서 벗어날 수 있습니다. 하나의 모델이 다운되면 GPTrouter는 원활하게 다른 모델로 전환하여 계속 작동합니다.

2. 대기 시간을 이길 : 응답 시간이 느리십니까? 더 이상. GPTrouter는 특히 GPT-4와 같은 무거운 모델에서 대기 시간 문제를 해결하도록 설계되었습니다. 지연없이 더 매끄럽고 빠른 사용자 상호 작용을 경험하십시오.

3. 다양한 모델 통합 : 더 많은 것을 가질 수있을 때 왜 정착해야합니까? GPTrouter는 여러 언어 및 이미지 생성 모델을 지원하므로 폴백 옵션을 제공하여 시스템이 강력하고 다재다능합니다.

주요 기능 :

• Universal API : 하나의 API를 모두 연결합니다. Openai, Azure Openai, Anthropic, 복제, 안정적인 확산, 코어 등과 같은 모델간에 쉽게 전환됩니다.
• ? 스마트 폴백 : 서비스를 중단없이 유지하십시오. 기본 선택을 사용할 수없는 경우 GPTrouter는 자동으로 대체 모델로 전환됩니다.
• 자동 회수 : GPTrouter는 지능적으로 요청에 실패하여 수동 노력을 줄이고 신뢰성을 향상시킵니다.
• ⏱️ 빠르고 반응이 빠르기 : 대기 시간을 줄이기 위해 GPTrouter는 AI 모델과의 상호 작용이 빠르고 효율적인지 확인합니다.

지원되는 모델 :

지원되는 모델	완성	스트리밍	비동기 완료	비동기 스트리밍
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
인류	✅	✅	✅	✅
뒤로 젖히다	✅	✅	✅	✅
안정적인 확산	✅	❗	✅	❗
달레 -3	✅	❗	✅	❗
코셔	✅	✅	✅	✅
앞으로 더	?	?	?	?

❗ 이미지 모델에 적용 할 수없는 스트리밍

? 곧 올 것입니다

기고자 환영합니다!

빠른 시작

시작할 준비가 되셨습니까? 방법은 다음과 같습니다.

---

전제 조건

서버를 실행합니다

• GPTrouter 서버를 로컬로 실행하려면 여기 단계를 따르십시오.
• 또는 Baseurl https://gpt-router-preview.writesonic.com/ 과 함께 미리보기 배포를 사용하십시오. 여기에서 양식을 작성하여 API 키를 얻으십시오.

---

서버가 실행되면 Python SDK 또는 API 문서를 통해 GPTrouter를 응용 프로그램에 통합 할 수 있습니다. 한편, 우리는 JS 및 기타 고객을 위해 일하고 있으며 도움을 줄 기고자를 찾고 있습니다.

파이썬 SDK 사용

PIP를 사용하여 gptrouter를 설치하십시오.

pip install gptrouter

또는 콘다와 함께 :

conda install gptrouter -c conda-forge

사용 예제

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )

더 많이 발견하십시오 : 여기에서 스트리밍 및 기타 예제를 탐색하십시오.

---

수평선 :

• Langchain 및 Llamaindex와의 통합으로 옵션을 더욱 확장합니다.

선적 서류 비치

포괄적 인 문서를 보려면 다음을 방문하십시오 : GPTrouter 문서

설치 및 설정

자세한 설치 지침 및 설정 지침은 시작 가이드에서 찾을 수 있습니다.

? 기여

우리는 지역 사회의 기여를 환영합니다! GPTrouter 개선에 관심이 있으시면 기여 지침을 참조하십시오.

? 모래밭

• 웹 사이트
• github