sample connector for bedrock

基岩的樣品連接器

這是一種基岩（以及AWS的其他生成A​​I工具）API轉發工具，可以發出虛擬鍵，日誌聊天和管理成本。

它與任何可以定義主機和API密鑰的OpenAI客戶端兼容。

快速參考

快速開始

快速部署

提供者

Docker圖像：Dockerhub，公共ECR

Lambda的Docker圖像：Dockerhub，公共ECR

主要功能

支持的模型和平台

• 支持BedRock的所有當前和未來的大型語言模型（通過基岩的支持）。
• 支持通過Sagemaker LMI（部分模型）部署的模型。
• 支持其他形式的自定義模型，包括Ollama等。
• 更多的AI Workflow應用程序，例如Internet搜索，AWS命令執行者等。

API密鑰和成本管理

• 創建API鍵。可以為普通用戶和管理員創建密鑰。常規用戶可以聊天，而管理員可以管理API鍵和成本。
• 記錄每個電話的成本，並將其用作成本控制的基礎。
• 成本控制。您可以為每個API密鑰設置每月的配額和帳戶餘額。如果每月配額或帳戶餘額不足，則無法使用。
• 計算總成本。

重要的

該項目的成本計算不能用作AWS計費的基礎。請參閱AWS賬單以獲取實際費用。請參閱官方網站以獲取基岩定價。

模型管理

模型及其參數可以從後端定義。

定義後，模型可以與組或API密鑰綁定。

更改

0.0.16

1. 添加了針對基岩的新配置選項：Maxtokens

0.0.15

1. 在NODB模式下添加了Haiku 3.5模型。

2. 刪除了一些不必要的日誌輸出。

免責聲明

該連接器是一種開源軟件，旨在為使用基岩服務提供代理服務。我們盡最大努力確保軟件的安全性和合法性，但我們對用戶的行為不承擔任何責任。

該連接器僅用於個人學習和研究目的。用戶不得將其用於任何非法活動，包括但不限於黑客攻擊，傳播非法信息等。否則，用戶本身應承擔相應的法律責任。用戶負責遵守各自司法管轄區的法律法規，並且不得將連接器用於任何非法或不合格的目的。該軟件的開發人員和維護人員不應對使用該連接器引起的任何爭議，損失或法律責任不承擔任何責任。

我們保留隨時修改或終止連接器代碼的權利，恕不另行通知。期望用戶理解並遵守相關的地方法律法規。

如果您對此免責聲明有任何疑問，請隨時通過開源渠道與我們聯繫。

安全

有關更多信息，請參見貢獻。

執照

該圖書館已獲得MIT-0許可證的許可。請參閱許可證文件。