تنزيل GPTRouter - تنزيل رمز مصدر GPTRouter

GPTRouter

شفرة المصدر الأخرى

1.0.0

تنزيل

GPTROUTER

بوابة طراز AI الخاصة بك - تدير بسلاسة LLMs ونماذج الصور المتعددة ، وتسريع الاستجابات ، وضمان الموثوقية دون توقف.

لماذا gptrouter؟

في WriteSonic ، بعد ثلاث سنوات من التنقل في عالم نماذج اللغة الكبيرة ، حددنا التحديات الرئيسية وصممنا GPTrouter لحلها.

حل تحديات العالم الحقيقي:

استقلال النموذج : لا تضع كل بيضك في سلة واحدة. يتيح لك GPTrouter التحرر من حدود الاعتماد على نموذج واحد فقط من الذكاء الاصطناعي مثل Openai. إذا سقطت نموذج واحد ، فإن GPTROUTER يبقيك في العمل وتشغيله عن طريق التبديل بسلاسة إلى نموذج آخر.
تغلب على الكمون : أوقات الاستجابة البطيئة؟ ليس بعد الآن. تم تصميم GPTROUTER لمعالجة مشكلات الكمون ، خاصة مع النماذج الضخمة مثل GPT-4. تجربة تفاعل أكثر سلاسة وأسرع للمستخدم دون تأخير.
تكامل النموذج المتنوع : لماذا تستقر لأحد عندما يمكنك الحصول على المزيد؟ يدعم GPTROUTER نماذج متعددة لإنشاء اللغة والصور ، مما يوفر خيارات احتياطية بحيث لا يزال نظامك قويًا ومتعدد الاستخدامات.

الميزات الرئيسية:

واجهة برمجة التطبيقات العالمية : API واحد لتوصيلهم جميعًا. قم بالتبديل بسهولة بين نماذج مثل Openai و Azure Openai و Hothropic و Replicate و STIBLE DIPFUSION و CONERE والمزيد.
؟ الاحتياطات الذكية : حافظ على خدماتك دون انقطاع. يتحول GPTrouter تلقائيًا إلى نماذج بديلة إذا كان اختيارك الأساسي غير متاح.
إعادة المحاولة التلقائية : فشلت GPTROUTER بذكاء الطلبات الفاشلة ، مما يقلل من الجهد اليدوي وتحسين الموثوقية.
⏱ سريعًا وسريعًا : مصمم لتقليل الكمون ، يضمن GPTROUTER أن تفاعلاتك مع نماذج الذكاء الاصطناعى سريعة وفعالة.

النماذج المدعومة:

النماذج المدعومة	انتهاء	جاري	الانتهاء من ASYNC	تدفق غير متزامن
Openai	✅	✅	✅	✅
Azure Openai	✅	✅	✅	✅
الإنسان	✅	✅	✅	✅
تكرار	✅	✅	✅	✅
انتشار مستقر	✅	❗	✅	❗
دال 3	✅	❗	✅	❗
التحم	✅	✅	✅	✅
المزيد في المستقبل	؟	؟	؟	؟

❗ دفق لا ينطبق على نماذج الصور

؟ قريباً

المرحبون بالمساهمين!

بداية سريعة

جاهز للبدء؟ إليكم كيف:

المتطلبات الأساسية

تشغيل الخادم

لتشغيل خادم gptrouter محليًا ، اتبع الخطوات هنا
بدلاً من ذلك ، استخدم نشر المعاينة الخاص بنا باستخدام baseurl https://gpt-router-preview.writesonic.com/ . احصل على مفتاح API الخاص بك عن طريق ملء النموذج هنا.

بمجرد تشغيل الخادم ، يمكنك دمج GPTrouter في تطبيقك باستخدام Python SDK أو عبر مستندات API. وفي الوقت نفسه ، نحن نعمل على JS والعملاء الآخرين ونبحث عن المساهمين للمساعدة.

باستخدام Python SDK

تثبيت gptrouter باستخدام PIP:

pip install gptrouter

أو مع كوندا:

conda install gptrouter -c conda-forge

مثال الاستخدام

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )