GPTRouter

GPTrouter

Ваша модель ИИ - плавно управлять несколькими LLMS и моделями изображений, ускоряет ответы и обеспечивает нестандартную надежность.

Почему GPTrouter?

В Phisesonic, после трех лет навигации по миру крупных языковых моделей, мы определили ключевые проблемы и создали GPTrouter для их решения.

Решение реальных проблем:

1. Независимость модели : не кладите все яйца в одну корзину. GPTrouter позволяет вам освободиться от ограничений полагаться только на одну модель искусственного интеллекта, такую ​​как OpenAI. Если одна модель снижена, GPTrouter поддерживает вас и бегает, беспрепятственно переключаясь на другую.

2. Побейте задержку : медленное время отклика? Уже нет. GPTrouter предназначен для решения проблем задержки, особенно с такими огромными моделями, как GPT-4. Познакомьтесь с более плавным, более быстрым взаимодействием с пользователем без задержек.

3. Разнообразная интеграция модели : зачем соглашаться на один, когда у вас может быть больше? GPTrouter поддерживает несколько моделей генерации языка и изображений, предоставляя варианты отступления, чтобы ваша система оставалась надежной и универсальной.

Ключевые функции:

• Universal API : один API, чтобы соединить их все. Легко переключаться между моделями, такими как OpenAI, Azure OpenAI, антроп, репликация, стабильная диффузия, совместное и многое другое.
• ? Умные запасы : Держите свои услуги непрерывными. GPTrouter автоматически переключается на альтернативные модели, если ваш основной выбор недоступен.
• Автоматические повторные переписки : GPTrouter Inteally Rebles Reblese Foad запросов, сокращение ручных усилий и повышение надежности.
• ⏱ Быстро и отзывчиво : GPTrouter, разработанный для уменьшения задержки, обеспечивает быстрое и эффективное взаимодействие с ИИ.

Поддерживаемые модели:

Поддерживаемые модели	Завершение	Потоковая передача	Асинхронное завершение	Асинхронизированная потоковая передача
Openai	✅	✅	✅	✅
Azure openai	✅	✅	✅	✅
Антроп	✅	✅	✅	✅
Реплицировать	✅	✅	✅	✅
Стабильная диффузия	✅	❗	✅	❗
Далле-3	✅	❗	✅	❗
Кожух	✅	✅	✅	✅
Больше впереди	?	?	?	?

❗ Потоковая трансляция не применима к моделям изображений

? Вскоре

Участники приветствуются!

Быстрый старт

Готовы начать работу? Вот как:

---

Предварительные условия

Запуск сервера

• Чтобы запустить сервер GPTrouter локально, выполните здесь шаги
• В качестве альтернативы используйте наше предварительное развертывание с помощью Baseurl https://gpt-router-preview.writesonic.com/ . Получите свой ключ API, заполнив форму здесь.

---

Как только сервер работает, вы можете интегрировать GPTrouter в ваше приложение, используя наш Python SDK или через документы API. Между тем, мы работаем над JS и другими клиентами и ищем участников, чтобы помочь.

Использование Python SDK

Установите GPTrouter, используя PIP:

pip install gptrouter

Или с Conda:

conda install gptrouter -c conda-forge

Пример использования

 from gpt_router . client import GPTRouterClient
from gpt_router . models import ModelGenerationRequest , GenerationParams
from gpt_router . enums import ModelsEnum , ProvidersEnum


client = GPTRouterClient ( base_url = 'your_base_url' , api_key = 'your_api_key' )

messages = [
    { "role" : "user" , "content" : "Write me a short poem" },
]
prompt_params = GenerationParams ( messages = messages )
claude2_request = ModelGenerationRequest (
    model_name = ModelsEnum . CLAUDE_INSTANT_12 ,
    provider_name = ProvidersEnum . ANTHROPIC . value ,
    order = 1 ,
    prompt_params = prompt_params ,
)

response = client . generate ( ordered_generation_requests = [ claude2_request ])
print ( response . choices [ 0 ]. text )

Откройте для себя больше: изучите потоковую передачу и другие примеры здесь.

---

На горизонте:

• Интеграции с Langchain и LlamainDex, расширяя ваши варианты еще дальше.

Документация

Для комплексной документации, посетите: документация по GPTrouter

Установка и настройка

Подробные инструкции по установке и руководство по настройке можно найти в нашем руководстве по началу работы.

? Внося

Мы приветствуем вклад сообщества! Если вы заинтересованы в улучшении GPTrouter, см. Наши рекомендации по вкладу.

? Ссылки

• Веб -сайт
• GitHub