sample connector for bedrock

基岩的样品连接器

这是一种基岩（以及AWS的其他生成A​​I工具）API转发工具，可以发出虚拟键，日志聊天和管理成本。

它与任何可以定义主机和API密钥的OpenAI客户端兼容。

快速参考

快速开始

快速部署

提供者

Docker图像：Dockerhub，公共ECR

Lambda的Docker图像：Dockerhub，公共ECR

主要功能

支持的模型和平台

• 支持BedRock的所有当前和未来的大型语言模型（通过基岩的支持）。
• 支持通过Sagemaker LMI（部分模型）部署的模型。
• 支持其他形式的自定义模型，包括Ollama等。
• 更多的AI Workflow应用程序，例如Internet搜索，AWS命令执行者等。

API密钥和成本管理

• 创建API键。可以为普通用户和管理员创建密钥。常规用户可以聊天，而管理员可以管理API键和成本。
• 记录每个电话的成本，并将其用作成本控制的基础。
• 成本控制。您可以为每个API密钥设置每月的配额和帐户余额。如果每月配额或帐户余额不足，则无法使用。
• 计算总成本。

重要的

该项目的成本计算不能用作AWS计费的基础。请参阅AWS账单以获取实际费用。请参阅官方网站以获取基岩定价。

模型管理

模型及其参数可以从后端定义。

定义后，模型可以与组或API密钥绑定。

更改

0.0.16

1. 添加了一个新的配置选项，用于基岩 - Maxtokens

0.0.15

1. 在NODB模式下添加了Haiku 3.5模型。

2. 删除了一些不必要的日志输出。

免责声明

该连接器是一种开源软件，旨在为使用基岩服务提供代理服务。我们尽最大努力确保软件的安全性和合法性，但我们对用户的行为不承担任何责任。

该连接器仅用于个人学习和研究目的。用户不得将其用于任何非法活动，包括但不限于黑客攻击，传播非法信息等。否则，用户本身应承担相应的法律责任。用户负责遵守各自司法管辖区的法律法规，并且不得将连接器用于任何非法或不合格的目的。该软件的开发人员和维护人员不应对使用该连接器引起的任何争议，损失或法律责任不承担任何责任。

我们保留随时修改或终止连接器代码的权利，恕不另行通知。期望用户理解并遵守相关的地方法律法规。

如果您对此免责声明有任何疑问，请随时通过开源渠道与我们联系。

安全

有关更多信息，请参见贡献。

执照

该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。