LLM應用程序的開源可觀察性
?新:我們的語義慣例現在已成為OpentElemetry的一部分!加入討論並幫助我們塑造LLM可觀察性的未來。
Optlllmetry-JS是一組在OpentElemetry頂部構建的擴展,可為您提供對LLM應用程序的完整可觀察性。由於它在引擎蓋下使用opentemetry,因此可以連接到您現有的可觀察性解決方案-Datadog,Honeycomb等。
它是由Traceloop在Apache 2.0許可下建造和維護的。
該存儲庫包含用於LLM提供商和矢量DBS的標準OpentElemetry儀器,以及Traceloop SDK,可以輕鬆從OpenLlmetry-JS開始使用,同時仍將可以連接到可具有可視性堆棧的標準OpenTElemetry數據。如果您已經擁有OpentElemetry儀器,則可以直接添加我們的任何儀器。
最簡單的開始方法是使用我們的SDK。有關完整的指南,請訪問我們的文檔。
安裝SDK:
npm install --save @traceloop/node-server-sdk然後,要開始啟動代碼,只需將這2行添加到您的代碼中:
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ;在導入任何LLM模塊之前,請確保import SDK。
就是這樣。您現在正在使用OpenLlmetry-JS追踪代碼!如果您在本地運行此操作,則可能需要禁用批處理髮送,因此您可以立即看到痕跡:
traceloop . initialize ( { disableBatch : true } ) ;現在,您需要決定在何處導出跟踪。
有關連接到每個文檔的說明,請參見我們的文檔。
optlllmetry -js可以啟動OpentElemetry已經儀器的所有內容 - 因此您的DB,API呼叫等等。最重要的是,我們構建了一組自定義擴展,這些擴展可以啟用您對OpenAI或Anthropic的電話,或者您的矢量DB(例如Pinecone,Chroma或Weaviate)。
無論是大還是小,我們都喜歡捐款❤️查看我們的指南,看看如何開始。
不知道從哪裡開始?你可以: