openllmetry js
0.11.4
Observabilité open source pour votre application LLM
? NOUVEAU : Nos conventions sémantiques font désormais partie de l'Opentelémétrie! Rejoignez la discussion et aidez-nous à façonner l'avenir de l'observabilité LLM.
OpenLlMetry-JS est un ensemble d'extensions construites au-dessus de l'OpenTelemetry qui vous donne une observabilité complète sur votre application LLM. Parce qu'il utilise l'OpenTelemétrie sous le capot, il peut être connecté à vos solutions d'observabilité existantes - Datadog, Honeycomb et autres.
Il est construit et entretenu par Traceloop sous la licence Apache 2.0.
Le repo contient des instrumentations d'OpenTelemetry standard pour les fournisseurs LLM et les DB vectoriels, ainsi qu'un SDK Traceloop qui facilite le démarrage avec OpenLllMetry-JS, tout en diffusant des données d'OpenTelemétrie standard qui peuvent être connectées à votre pile d'observabilité. Si vous avez déjà des instruments OpenTelemetry, vous pouvez simplement ajouter l'une de nos instrumentations directement.
La façon la plus simple de commencer est d'utiliser notre SDK. Pour un guide complet, rendez-vous sur nos documents.
Installez le SDK:
npm install --save @traceloop/node-server-sdkEnsuite, pour commencer à instrumenter votre code, ajoutez simplement ces 2 lignes à votre code:
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ; Assurez-vous d' import le SDK avant d'importer un module LLM.
C'est ça. Vous tracez maintenant votre code avec OpenLlmetry-JS! Si vous exécutez cela localement, vous voudrez peut-être désactiver l'envoi par lots, afin que vous puissiez voir les traces immédiatement:
traceloop . initialize ( { disableBatch : true } ) ;Maintenant, vous devez décider où exporter les traces vers.
Voir nos documents pour des instructions sur la connexion à chacun.
OpenLlMetry-JS peut instrument tout ce que l'OpenTelemetry instrument - donc des choses comme votre base de données, les appels d'API, etc. En plus de cela, nous avons construit un ensemble d'extensions personnalisées qui instruisent des choses comme vos appels à Openai ou à l'anthropique, ou à votre DB vectoriel comme Pinecone, Chromy ou Weavate.
Que ce soit grand ou petit, nous aimons les contributions ❤️ Consultez notre guide pour voir comment commencer.
Vous ne savez pas par où commencer? Tu peux:
