openllmetry js
0.11.4
Observabilidade de código aberto para o seu aplicativo LLM
? NOVO : Nossas convenções semânticas agora fazem parte da Opentelemetria! Junte -se à discussão e ajude -nos a moldar o futuro da observabilidade do LLM.
O Openllmetry-JS é um conjunto de extensões construídas sobre o OpenElemetria que oferece uma observabilidade completa sobre o seu aplicativo LLM. Como ele usa o OpenElemetria sob o capô, pode ser conectado às suas soluções de observabilidade existentes - Datadog, favo de mel e outros.
Ele é construído e mantido pela Traceloop sob a licença Apache 2.0.
O repositório contém instrumentações padrão de Opentelemetria para provedores de LLM e DBS vetorial, bem como um SDK de traceloop que facilita o início do OpenllMety-JS, enquanto ainda emitiu dados de Opentelemetria padrão que podem ser conectados à sua pilha de observabilidade. Se você já possui o OpenElemetria instrumentada, basta adicionar qualquer uma de nossas instrumentações diretamente.
A maneira mais fácil de começar é usar nosso SDK. Para um guia completo, vá para nossos documentos.
Instale o SDK:
npm install --save @traceloop/node-server-sdkEntão, para começar a instrumentar seu código, basta adicionar estas 2 linhas ao seu código:
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ; Certifique -se de import o SDK antes de importar qualquer módulo LLM.
É isso. Agora você está rastreando seu código com o Openllmetry-JS! Se você estiver executando isso localmente, convém desativar o envio em lote, para poder ver os traços imediatamente:
traceloop . initialize ( { disableBatch : true } ) ;Agora, você precisa decidir para onde exportar os traços.
Veja nossos documentos para obter instruções sobre como conectar a cada um.
O Openllmetry -JS pode instrumentar tudo o que o OpenElemetria já está instrumentos - então coisas como o seu banco de dados, chamadas de API e muito mais. Além disso, construímos um conjunto de extensões personalizadas que instrumentam coisas como suas chamadas para o OpenAI ou Antrópico, ou seu vetor DB como Pinecone, Chroma ou Weaviate.
Seja grande ou pequeno, adoramos contribuições ❤️ Confira nosso guia para ver como começar.
Não sabe por onde começar? Você pode:
