LLM应用程序的开源可观察性
?新:我们的语义惯例现在已成为OpentElemetry的一部分!加入讨论并帮助我们塑造LLM可观察性的未来。
Optlllmetry-JS是一组在OpentElemetry顶部构建的扩展,可为您提供对LLM应用程序的完整可观察性。由于它在引擎盖下使用opentemetry,因此可以连接到您现有的可观察性解决方案-Datadog,Honeycomb等。
它是由Traceloop在Apache 2.0许可下建造和维护的。
该存储库包含用于LLM提供商和矢量DBS的标准OpentElemetry仪器,以及Traceloop SDK,可以轻松从OpenLlmetry-JS开始使用,同时仍将可以连接到可具有可视性堆栈的标准OpenTElemetry数据。如果您已经拥有OpentElemetry仪器,则可以直接添加我们的任何仪器。
最简单的开始方法是使用我们的SDK。有关完整的指南,请访问我们的文档。
安装SDK:
npm install --save @traceloop/node-server-sdk然后,要开始启动代码,只需将这2行添加到您的代码中:
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ;在导入任何LLM模块之前,请确保import SDK。
就是这样。您现在正在使用OpenLlmetry-JS追踪代码!如果您在本地运行此操作,则可能需要禁用批处理发送,因此您可以立即看到痕迹:
traceloop . initialize ( { disableBatch : true } ) ;现在,您需要决定在何处导出跟踪。
有关连接到每个文档的说明,请参见我们的文档。
optlllmetry -js可以启动OpentElemetry已经仪器的所有内容 - 因此您的DB,API呼叫等等。最重要的是,我们构建了一组自定义扩展,这些扩展可以启用您对OpenAI或Anthropic的电话,或者您的矢量DB(例如Pinecone,Chroma或Weaviate)。
无论是大还是小,我们都喜欢捐款❤️查看我们的指南,看看如何开始。
不知道从哪里开始?你可以: