openllmetry js
0.11.4
Observabilidad de código abierto para su aplicación LLM
? NUEVO : ¡Nuestras convenciones semánticas ahora son parte de Opentelemetry! Únase a la discusión y ayúdanos a dar forma al futuro de la observabilidad de LLM.
Openllmetry-JS es un conjunto de extensiones construidas sobre OpenTelemetry que le brinda una observabilidad completa sobre su aplicación LLM. Debido a que usa Operentelemetry debajo del capó, se puede conectar a sus soluciones de observabilidad existentes: Datadog, Honeycomb y otros.
Está construido y mantenido por Traceloop bajo la licencia Apache 2.0.
El repositorio contiene instrumentos estándar de OpenTelemetry para proveedores de LLM y DBS vectoriales, así como un SDK de Traceloop que facilita comenzar con Openllmetry-JS, al tiempo que genera datos estándar de OperElemetry que se pueden conectar a su pila de observabilidad. Si ya tiene instrumentos de Operentelemetry, puede agregar cualquiera de nuestras instrumentos directamente.
La forma más fácil de comenzar es usar nuestro SDK. Para una guía completa, vaya a nuestros documentos.
Instale el SDK:
npm install --save @traceloop/node-server-sdkLuego, para comenzar a instrumentar su código, simplemente agregue estas 2 líneas a su código:
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ; Asegúrese de import el SDK antes de importar cualquier módulo LLM.
Eso es todo. ¡Ahora estás rastreando tu código con Openllmetry-JS! Si está ejecutando esto localmente, es posible que desee deshabilitar el envío por lotes, para que pueda ver las trazas de inmediato:
traceloop . initialize ( { disableBatch : true } ) ;Ahora, debe decidir dónde exportar los rastros.
Vea nuestros documentos para obtener instrucciones sobre cómo conectarse a cada uno.
OpenLlmetry -JS puede instrumentar todo lo que ya instrumenta ya instrumentos, por lo que cosas como su DB, API llamadas y más. Además de eso, construimos un conjunto de extensiones personalizadas que instrumentan cosas como sus llamadas a Openai o antrópico, o su DB vectorial como Pinecone, Chroma o Weaviate.
Ya sea grande o pequeño, nos encantan las contribuciones ❤️ Visite nuestra guía para ver cómo comenzar.
¿No está seguro de dónde empezar? Puede:
