sample connector for bedrock

Conector de muestra para Bedrock

Esta es una roca madre (y otras herramientas generativas de IA de AWS) que puede emitir claves virtuales, registrar chats y administrar los costos.

Es compatible con cualquier cliente de OpenAI que pueda definir la tecla Host y API.

Referencias rápidas

Comienzo rápido

Despliegue rápido

Proveedores

Imagen de Docker: Dockerhub, ECR público

Imagen de Docker para Lambda: Dockerhub, ECR público

Características principales

Modelos y plataformas compatibles

• Admite todos los modelos de idiomas grandes actuales y futuros de Bedrock (soportados a través de la base-converse).
• Admite modelos implementados a través de Sagemaker LMI (modelos parciales).
• Admite otras formas de modelos personalizados, incluidos Ollama, etc.
• Más aplicaciones de flujo de trabajo de IA, como búsqueda en Internet, ejecutores de comandos de AWS, etc.

Gestión de la tecla API y los costos

• Crear claves API. Se pueden crear claves para usuarios y administradores regulares. Los usuarios regulares pueden chatear, mientras que los administradores pueden administrar las claves y los costos de API.
• Registre el costo de cada llamada y úsela como base para el control de costos.
• Control de costos. Puede establecer cuotas mensuales y saldos de cuenta para cada clave API. Cuando la cuota mensual o el saldo de la cuenta es insuficiente, no se puede usar.
• Calcule el costo general.

Importante

El cálculo de costos de este proyecto no puede usarse como base para la facturación de AWS. Consulte la factura de AWS para obtener gastos reales. Consulte el sitio web oficial para obtener el precio de la roca madre.

Gestión de modelos

Los modelos y sus parámetros se pueden definir desde el backend.

Una vez definido, los modelos pueden estar vinculados a grupos o claves API.

Changelogs

0.0.16

1. Se agregó una nueva opción de configuración para Bedrock-Converse: Maxtokens

0.0.15

1. Se agregó el modelo Haiku 3.5 en modo NODB.

2. Eliminó algunas salidas de registro innecesarias.

Descargo de responsabilidad

Este conector es un software de código abierto destinado a proporcionar servicios proxy para usar servicios de base. Hacemos nuestros mejores esfuerzos para garantizar la seguridad y la legalidad del software, pero no somos responsables del comportamiento de los usuarios.

El conector está destinado únicamente a fines de aprendizaje y investigación personal. Los usuarios no lo utilizarán para actividades ilegales, incluidas, entre otros, piratería, difundir información ilegal, etc. De lo contrario, los usuarios deberán asumir las responsabilidades legales correspondientes. Los usuarios son responsables de cumplir con las leyes y regulaciones en sus respectivas jurisdicciones y no utilizarán el conector para fines ilegales o no conformes. Los desarrolladores y mantenedores de este software no serán responsables de las disputas, pérdidas o pasivos legales derivados del uso de este conector.

Nos reservamos el derecho de modificar o cancelar el código del conector en cualquier momento sin más información. Se espera que los usuarios comprendan y cumplan con las leyes y regulaciones locales relevantes.

Si tiene alguna pregunta sobre este descargo de responsabilidad, no dude en contactarnos a través de los canales de código abierto.

Seguridad

Ver contribuyendo para más información.

Licencia

Esta biblioteca tiene licencia bajo la licencia MIT-0. Ver el archivo de licencia.