sample connector for bedrock

Connecteur d'échantillonnage pour le substratum

Il s'agit d'un outil de transfert API (et d'autres outils AI génératifs de AWS) qui peuvent émettre des clés virtuelles, enregistrer les chats et gérer les coûts.

Il est compatible avec tout client OpenAI qui peut définir l'hôte et la clé API.

Références rapides

Démarrage rapide

Déploiement rapide

Fournisseurs

Image docker: dockerhub, ECR public

Image docker pour Lambda: Dockerhub, ECR public

Caractéristiques principales

Modèles et plateformes pris en charge

• Prend en charge tous les modèles de grande langue actuels et futurs du substratum rocheux (pris en charge par le fondement-converse).
• Prend en charge les modèles déployés via Sagemaker LMI (modèles partiels).
• Prend en charge d'autres formes de modèles personnalisés, y compris Olllama, etc.
• Plus d'applications de workflow IA, telles que la recherche sur Internet, les exécuteurs de commandes AWS, etc.

Clé API et gestion des coûts

• Créez des clés API. Les clés peuvent être créées pour les utilisateurs et les administrateurs réguliers. Les utilisateurs réguliers peuvent discuter, tandis que les administrateurs peuvent gérer les clés API et les coûts.
• Enregistrez le coût de chaque appel et utilisez-le comme base pour le contrôle des coûts.
• Contrôle des coûts. Vous pouvez définir des quotas mensuels et des soldes de compte pour chaque clé API. Lorsque le solde de quota ou de compte mensuel est insuffisant, il ne peut pas être utilisé.
• Calculez le coût global.

Important

Le calcul des coûts de ce projet ne peut être utilisé comme base de la facturation AWS. Veuillez vous référer à la facture AWS pour les dépenses réelles. Veuillez vous référer au site officiel de la tarification du substratum rocheux.

Gestion des modèles

Les modèles et leurs paramètres peuvent être définis à partir du backend.

Une fois définies, les modèles peuvent être liés aux groupes ou aux clés d'API.

Changelogs

0.0.16

1. Ajout d'une nouvelle option de configuration pour le fondement-converse: maxtokens

0.0.15

1. Ajout du modèle Haiku 3.5 en mode NODB.

2. Supprimé certaines sorties de journal inutiles.

Clause de non-responsabilité

Ce connecteur est un logiciel open source visant à fournir des services de proxy pour l'utilisation des services de substitution. Nous faisons de nos meilleurs efforts pour assurer la sécurité et la légalité du logiciel, mais nous ne sommes pas responsables du comportement des utilisateurs.

Le connecteur est destiné uniquement à l'apprentissage personnel et à des fins de recherche. Les utilisateurs ne doivent pas l'utiliser pour des activités illégales, y compris, mais sans s'y limiter, la propagation d'informations illégales, etc. Sinon, les utilisateurs doivent être eux-mêmes des responsabilités juridiques correspondantes. Les utilisateurs sont responsables du respect des lois et réglementations dans leurs juridictions respectives et ne doivent pas utiliser le connecteur à des fins illégales ou non conformes. Les développeurs et les mainteneurs de ce logiciel ne seront pas responsables de tout litige, pertes ou passifs juridiques découlant de l'utilisation de ce connecteur.

Nous nous réservons le droit de modifier ou de résilier le code du connecteur à tout moment sans autre préavis. Les utilisateurs devraient comprendre et se conformer aux lois et réglementations locales pertinentes.

Si vous avez des questions concernant cet avertissement, n'hésitez pas à nous contacter via les canaux open source.

Sécurité

Voir contribuer pour plus d'informations.

Licence

Cette bibliothèque est autorisée sous la licence MIT-0. Voir le fichier de licence.