sample connector for bedrock

Образец разъем для коренной породы

Это инструмент для пересылки API (и другие генеративные инструменты AIS от AWS), который может выпускать виртуальные ключи, регистрировать чаты и управлять затратами.

Он совместим с любым клиентом OpenAI, который может определить хост и ключ API.

Быстрые ссылки

Быстрый старт

Быстрое развертывание

Поставщики

Docker Image: Dockerhub, Public ECR

Docker Image for Lambda: Dockerhub, Public ECR

Основные особенности

Поддерживаемые модели и платформы

• Поддерживает все текущие и будущие большие языковые модели от коренной породы (поддерживается через коллеги-конверс).
• Поддерживает модели, развернутые через SageMaker LMI (частичные модели).
• Поддерживает другие формы пользовательских моделей, включая Ollama и т. Д.
• Больше приложений рабочих процессов ИИ, таких как поиск в Интернете, исполнители команд AWS и т. Д.

API -ключ и управление затратами

• Создайте клавиши API. Ключи могут быть созданы для постоянных пользователей и администраторов. Регулярные пользователи могут общаться, в то время как администраторы могут управлять клавишами API и затратами.
• Запишите стоимость каждого вызова и используйте его в качестве основы для контроля затрат.
• Контроль затрат. Вы можете устанавливать ежемесячные квоты и балансы учетных записей для каждого ключа API. Когда ежемесячная квота или баланс счета недостаточно, ее нельзя использовать.
• Рассчитайте общую стоимость.

Важный

Расчет затрат этого проекта не может быть использован в качестве основы для выставления счетов AWS. Пожалуйста, обратитесь к счету AWS за фактические расходы. Пожалуйста, обратитесь к официальному веб -сайту для цен на основание.

Управление моделями

Модели и их параметры могут быть определены из бэкэнда.

После определения модели могут быть связаны с группами или клавишами API.

Изменение изменений

0,0,16

1. Добавлена ​​новая опция конфигурации для Bendrock-Converse: Maxtokens

0,0,15

1. Добавлена ​​модель Haiku 3.5 в режиме NODB.

2. Удалили некоторые ненужные выходы журнала.

Отказ от ответственности

Этот разъем представляет собой программное обеспечение с открытым исходным кодом, направленное на предоставление прокси-сервисов для использования услуг Bedrock. Мы прилагаем все усилия для обеспечения безопасности и законности программного обеспечения, но мы не несем ответственности за поведение пользователей.

Коннектор предназначен исключительно для личного обучения и исследований. Пользователи не должны использовать его для каких -либо незаконных действий, включая, помимо прочего, взлом, распространение незаконной информации и т. Д. В противном случае пользователи должны нести соответствующие юридические обязанности сами. Пользователи несут ответственность за соблюдение законов и правил в своих соответствующих юрисдикциях и не должны использовать соединитель для каких-либо незаконных или несоответствующих целей. Разработчики и сопровождающие этого программного обеспечения не несут ответственности за любые споры, убытки или юридические обязательства, возникающие в результате использования этого соединителя.

Мы оставляем за собой право изменять или прекращать код разъема в любое время без дальнейшего уведомления. Ожидается, что пользователи поймут и соблюдают соответствующие местные законы и правила.

Если у вас есть какие-либо вопросы, касающиеся этого отказа от ответственности, пожалуйста, не стесняйтесь связываться с нами через каналы с открытым исходным кодом.

Безопасность

Смотрите Anploying для получения дополнительной информации.

Лицензия

Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.