sample connector for bedrock

Amostra de conector para campos

Esta é uma ferramenta de API de AWS) que pode emitir chaves virtuais, bate -papos de log e gerenciar custos.

É compatível com qualquer cliente OpenAI que possa definir a chave Host e API.

Referências rápidas

Início rápido

Implantação rápida

Provedores

Docker Imagem: DockerHub, ECR público

Imagem do Docker para Lambda: DockerHub, ECR público

Principais características

Modelos e plataformas suportadas

• Suporta todos os modelos de idiomas atuais e futuros da Bedrock (suportados por meio de bedrock-Converse).
• Suporta modelos implantados através do Sagemaker LMI (modelos parciais).
• Suporta outras formas de modelos personalizados, incluindo Ollama, etc.
• Mais aplicativos de fluxo de trabalho de IA, como pesquisa na Internet, executores de comando da AWS etc.

Chave da API e gerenciamento de custos

• Crie teclas de API. As chaves podem ser criadas para usuários e administradores regulares. Os usuários regulares podem conversar, enquanto os administradores podem gerenciar chaves e custos da API.
• Registre o custo de cada chamada e use -o como base para o controle de custos.
• Controle de custo. Você pode definir cotas mensais e saldos de conta para cada chave da API. Quando o saldo mensal da cota ou da conta é insuficiente, ela não pode ser usada.
• Calcule o custo total.

Importante

O cálculo de custos deste projeto não pode ser usado como base para o faturamento da AWS. Consulte a conta da AWS para despesas reais. Consulte o site oficial para obter os preços do Bedrock.

Gerenciamento de modelos

Os modelos e seus parâmetros podem ser definidos no back -end.

Uma vez definido, os modelos podem estar vinculados a grupos ou chaves da API.

Changelogs

0.0.16

1. Adicionado uma nova opção de configuração para Bedrock-Converse: Maxtokens

0.0.15

1. Modelo Haiku 3.5 adicionado no modo NODB.

2. Removeu algumas saídas de log desnecessárias.

Isenção de responsabilidade

Este conector é um software de código aberto destinado a fornecer serviços de proxy para o uso de serviços Bedrock. Fazemos nossos melhores esforços para garantir a segurança e a legalidade do software, mas não somos responsáveis ​​pelo comportamento dos usuários.

O conector se destina apenas a fins de aprendizado pessoal e pesquisa. Os usuários não devem usá -lo para atividades ilegais, incluindo, entre outros, hackers, espalhando informações ilegais etc. Caso contrário, os usuários devem assumir as próprias responsabilidades legais correspondentes. Os usuários são responsáveis ​​por cumprir as leis e regulamentos em suas respectivas jurisdições e não devem usar o conector para propósitos ilegais ou não compatíveis. Os desenvolvedores e mantenedores deste software não se responsabilizam por quaisquer disputas, perdas ou passivos legais decorrentes do uso desse conector.

Reservamo -nos o direito de modificar ou encerrar o código do conector a qualquer momento, sem aviso prévio. Espera -se que os usuários entendam e cumpram as leis e regulamentos locais relevantes.

Se você tiver alguma dúvida sobre este aviso, não hesite em entrar em contato conosco através dos canais de código aberto.

Segurança

Consulte contribuindo para mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.