sample connector for bedrock

Probenanschluss für Grundgestein

Dies ist ein Grundgestein (und andere generative KI -Tools von AWS) API -Weiterleitungstool, mit dem virtuelle Schlüssel ausgeben, Chats protokolliert und Kosten verwaltet werden können.

Es ist mit jedem OpenAI -Client kompatibel, der Host- und API -Schlüssel definieren kann.

Schnelle Referenzen

Schneller Start

Schnelle Bereitstellung

Anbieter

Docker -Bild: DockerHub, öffentlicher ECR

Docker -Bild für Lambda: DockerHub, öffentlicher ECR

Hauptmerkmale

Unterstützte Modelle und Plattformen

• Unterstützt alle aktuellen und zukünftigen Großsprachmodelle aus dem Grundgestein (unterstützt durch Grundgesteinskonvers).
• Unterstützt Modelle, die über Sagemaker LMI (Teilmodelle) eingesetzt werden.
• Unterstützt andere Formen benutzerdefinierter Modelle, einschließlich Ollama usw.
• Weitere AI -Workflow -Anwendungen wie Internetsuche, AWS -Befehlsausführer usw.

API -Schlüssel und Kostenmanagement

• Erstellen Sie API -Schlüssel. Tasten können für reguläre Benutzer und Administratoren erstellt werden. Regelmäßige Benutzer können sich chatten, während Administratoren API -Schlüssel und -kosten verwalten können.
• Notieren Sie die Kosten für jeden Anruf und verwenden Sie sie als Grundlage für die Kostenkontrolle.
• Kostenkontrolle. Für jeden API -Schlüssel können Sie monatliche Quoten und Kontoübergänge festlegen. Wenn der monatliche Kontingent oder der Kontostand nicht ausreicht, kann er nicht verwendet werden.
• Berechnen Sie die Gesamtkosten.

Wichtig

Die Kostenberechnung dieses Projekts kann nicht als Grundlage für die AWS -Abrechnung verwendet werden. Bitte beachten Sie die AWS -Rechnung für die tatsächlichen Ausgaben. Weitere Informationen finden Sie auf der offiziellen Website für die Grundgesteinpreise.

Modellmanagement

Modelle und ihre Parameter können aus dem Backend definiert werden.

Nach der Definition können Modelle an Gruppen oder API -Schlüssel gebunden werden.

Changelogs

0.0.16

1. Eine neue Konfigurationsoption für Grundgestein-Konverse hinzugefügt: maxtokens

0,0,15

1. Das Haiku 3.5 -Modell im NODB -Modus hinzugefügt.

2. Einige unnötige Protokollausgänge entfernt.

Haftungsausschluss

Dieser Connector ist eine Open-Source-Software, die darauf abzielt, Proxy-Dienste für die Nutzung von Grundgesteinsdiensten bereitzustellen. Wir bemühen uns am besten, die Sicherheit und Rechtmäßigkeit der Software zu gewährleisten, sind jedoch nicht für das Verhalten der Benutzer verantwortlich.

Der Anschluss ist ausschließlich für persönliche Lern- und Forschungszwecke gedacht. Benutzer dürfen es nicht für illegale Aktivitäten verwenden, einschließlich, aber nicht beschränkt auf Hacking, Verbreitung illegaler Informationen usw. Andernfalls müssen Benutzer die entsprechenden rechtlichen Verantwortlichkeiten selbst tragen. Benutzer sind für die Einhaltung der Gesetze und Vorschriften in ihren jeweiligen Gerichtsbarkeiten verantwortlich und dürfen den Stecker nicht für illegale oder nicht konforme Zwecke verwenden. Die Entwickler und Betreuer dieser Software haften nicht für Streitigkeiten, Verluste oder rechtliche Verbindlichkeiten, die sich aus der Verwendung dieses Steckers ergeben.

Wir behalten uns das Recht vor, den Code des Anschlusses jederzeit ohne weitere Ankündigung zu ändern oder zu kündigen. Von den Benutzern wird erwartet, dass sie die relevanten lokalen Gesetze und Vorschriften verstehen und einhalten.

Wenn Sie Fragen zu diesem Haftungsausschluss haben, können Sie uns gerne über die Open-Source-Kanäle kontaktieren.

Sicherheit

Weitere Informationen finden Sie unter Beitrag.

Lizenz

Diese Bibliothek ist im Rahmen der MIT-0-Lizenz lizenziert. Siehe die Lizenzdatei.