ดาวน์โหลด GPTRouter - ดาวน์โหลดซอร์สโค้ด GPTRouter

GPTRouter

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

Gptrouter

เกตเวย์ AI Model ของคุณ - จัดการ LLMs และรุ่นรูปภาพได้อย่างราบรื่นเร่งการตอบสนองและสร้างความมั่นใจในความน่าเชื่อถือแบบไม่หยุดยั้ง

ทำไมต้อง gptrouter?

ที่ Writesonic หลังจากสามปีของการนำโลกของแบบจำลองภาษาขนาดใหญ่เราได้ระบุความท้าทายที่สำคัญและสร้าง Gptrouter เพื่อแก้ปัญหา

การแก้ปัญหาความท้าทายในโลกแห่งความเป็นจริง:

โมเดลความเป็นอิสระ : อย่าใส่ไข่ทั้งหมดไว้ในตะกร้าเดียว Gptrouter ช่วยให้คุณหลุดพ้นจากข้อ จำกัด ของการพึ่งพาเฉพาะรุ่น AI เช่น OpenAI หากรุ่นหนึ่งหยุดทำงาน Gptrouter จะให้คุณทำงานและทำงานได้อย่างราบรื่น
เอาชนะเวลาแฝง : เวลาตอบสนองช้า? ไม่อีกต่อไป. Gptrouter ได้รับการออกแบบมาเพื่อแก้ไขปัญหาความล่าช้าโดยเฉพาะอย่างยิ่งกับรุ่นที่หนักเช่น GPT-4 สัมผัสประสบการณ์การโต้ตอบของผู้ใช้ที่ราบรื่นและเร็วขึ้นโดยไม่ล่าช้า
การรวมโมเดลที่หลากหลาย : ทำไมต้องชำระให้หนึ่งเมื่อคุณมีมากขึ้น? Gptrouter รองรับโมเดลการสร้างภาษาและรูปภาพหลายแบบให้ตัวเลือกทางเลือกเพื่อให้ระบบของคุณยังคงแข็งแกร่งและหลากหลาย

คุณสมบัติที่สำคัญ:

Universal API : API หนึ่งรายการเพื่อเชื่อมต่อพวกเขาทั้งหมด สลับระหว่างโมเดลเช่น OpenAI, Azure Openai, มานุษยวิทยา, ทำซ้ำ, การแพร่กระจายที่เสถียร, เชื่อมโยงกันและอื่น ๆ
- สมาร์ทลัดแบ็ก : รักษาบริการของคุณอย่างต่อเนื่อง Gptrouter จะเปลี่ยนเป็นรุ่นอื่นโดยอัตโนมัติหากตัวเลือกหลักของคุณไม่พร้อมใช้งาน
การลองใหม่โดยอัตโนมัติ : GPTROUTER RETRIES การตอบสนองที่ล้มเหลวอย่างชาญฉลาดลดความพยายามด้วยตนเองและปรับปรุงความน่าเชื่อถือ
⏱รวดเร็วและตอบสนองได้ : ออกแบบมาเพื่อลดเวลาแฝง Gptrouter ทำให้มั่นใจได้ว่าการโต้ตอบของคุณกับรุ่น AI นั้นรวดเร็วและมีประสิทธิภาพ

รุ่นที่รองรับ:

รุ่นที่รองรับ	ความสำเร็จ	การสตรีม	Async เสร็จสมบูรณ์	สตรีมมิ่ง
Openai
Azure Openai
มานุษยวิทยา
ทำซ้ำ
การแพร่กระจายที่มั่นคง
Dalle-3
กัน
อีกมากที่จะมา	-	-	-	-

❗สตรีมมิ่งไม่สามารถใช้ได้กับรุ่นรูปภาพ

- เร็วๆ นี้

ยินดีต้อนรับผู้มีส่วนร่วม!

เริ่มต้นอย่างรวดเร็ว

พร้อมที่จะเริ่มต้น? นี่คือวิธี:

ข้อกำหนดเบื้องต้น

ทำให้เซิร์ฟเวอร์ทำงาน

หากต้องการเรียกใช้เซิร์ฟเวอร์ gptrouter ในเครื่องให้ทำตามขั้นตอนที่นี่
หรือใช้ การปรับใช้ตัวอย่าง ของเราด้วย baseUrl https://gpt-router-preview.writesonic.com/ รับคีย์ API ของคุณโดยกรอกแบบฟอร์มที่นี่

เมื่อเซิร์ฟเวอร์ทำงานอยู่คุณสามารถรวม Gptrouter เข้ากับแอปพลิเคชันของคุณโดยใช้ Python SDK ของเราหรือผ่านเอกสาร API ในขณะเดียวกันเรากำลังทำงานกับ JS และลูกค้าอื่น ๆ และกำลังมองหาผู้มีส่วนร่วมเพื่อช่วยเหลือ

ใช้ Python SDK

ติดตั้ง gptrouter โดยใช้ PIP:

pip install gptrouter

หรือกับ conda:

conda install gptrouter -c conda-forge

ตัวอย่างการใช้งาน

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )