openllmetry js

Für JavaScript / TypeScript

Open-Source-Beobachtbarkeit für Ihre LLM-Anwendung

Beginnen Sie mit node.js oder next.js »

Slack | Docs | Webseite

? NEU : Unsere semantischen Konventionen sind jetzt Teil der Opentelemetrie! Schließen Sie sich der Diskussion an und helfen Sie uns, die Zukunft der LLM -Beobachtbarkeit zu formen.

Openllmetry-JS ist eine Reihe von Erweiterungen, die auf Opentelemetrie basieren und die Ihnen eine vollständige Beobachtbarkeit über Ihre LLM-Anwendung ermöglicht. Da es Opentelemetry unter der Motorhaube verwendet, kann es mit Ihren vorhandenen Beobachtbarkeitslösungen verbunden werden - Datadog, Waben und andere.

Es wurde von Traceloop unter der Apache 2.0 -Lizenz gebaut und gepflegt.

Das Repo enthält Standardinstrumente für Opentelemetrie für LLM-Anbieter und Vektor-DBs sowie einen Traceloop-SDK, mit dem es einfach ist, mit Openllmetry-Js zu beginnen, während sie immer noch Standard-OpenTelemetrie-Daten ausgeben, die mit Ihrem Beobachtbarkeitsstapel verbunden werden können. Wenn Sie bereits OpenTelemetry instrumentiert haben, können Sie einfach eine unserer Instrumente direkt hinzufügen.

Erste Schritte

Der einfachste Weg, um loszulegen, besteht darin, unseren SDK zu verwenden. Für einen vollständigen Leitfaden finden Sie unsere Dokumente.

Installieren Sie den SDK:

npm install --save @traceloop/node-server-sdk

Wenn Sie dann mit dem Instrumentieren Ihres Codes beginnen, fügen Sie Ihren Code einfach diese 2 Zeilen hinzu:

 import * as traceloop from "@traceloop/node-server-sdk" ;

traceloop . initialize ( ) ;

import Sie das SDK, bevor Sie ein LLM -Modul importieren.

Das war's. Sie verfolgen jetzt Ihren Code mit Openllmetry-JS! Wenn Sie dies lokal ausführen, möchten Sie möglicherweise das Senden von Stapeln deaktivieren, sodass Sie die Spuren sofort sehen können:

 traceloop . initialize ( { disableBatch : true } ) ;

Jetzt müssen Sie entscheiden, wohin die Spuren exportieren sollen.

⏫ unterstützte (und getestete) Ziele

• ✅ Traceloop
• ✅ Dynatrace
• ✅ Datadog
• ✅ Neues Relikt
• ✅ Wabe
• ✅ Grafana Tempo
• ✅ Hyperdx
• ✅ Signoz
• ✅ Splunk
• ✅ Opentelemetry -Sammler

In unseren Dokumenten finden Sie Anweisungen zur Verbindung zu jedem einzelnen.

? Was instrumentieren wir?

Openllmetry -Js kann alles instrumentieren, was Opentelemetry bereits instrumentiert - also Dinge wie Ihre DB, API -Anrufe und mehr. Darüber hinaus haben wir eine Reihe von benutzerdefinierten Erweiterungen erstellt, die Dinge wie Ihre Anrufe zu öffnen oder anthropisch oder Ihren Vektor DB wie Pinecone, Chroma oder WeaViate instrumentieren.

LLM -Anbieter

• ✅ Openai
• ✅ Azure Openai
• ✅ anthropisch
• ✅ zusammen
• ⏳ Replikate
• ⏳ Umarmung
• ✅ Scheitelpunkt AI (GCP)
• ✅ Grundgestein (AWS)

Vektor DBS

• ✅ Timecone
• ✅ Chroma
• ✅ Qdrant
• ⏳ WEAVIATE
• ⏳ Milvus

Frameworks

• ✅ Langchain
• ✅ llamaindex

? Beitragen

Egal, ob es groß oder klein ist, wir lieben Beiträge.

Nicht sicher, wo ich anfangen soll? Du kannst:

• Buchen Sie eine kostenlose Paarung mit einem unserer Teamkollegen!
• Schließen Sie sich unserer Lücke bei und stellen Sie uns dort alle Fragen.

Community & Support

• Slack (für Live -Diskussionen mit der Community und dem Traceloop -Team)
• Github -Diskussionen (um Hilfe beim Aufbau und tieferen Gesprächen über Merkmale)
• GitHub -Probleme (für Fehler und Fehler, denen Sie mit Openllmetry begegnen)
• Twitter (Holen Sie sich die Neuigkeiten schnell)