LLMアプリケーションのオープンソースの観測可能性
?新しい:私たちのセマンティックコンベンションは、現在Opentelemetryの一部です!ディスカッションに参加して、LLMの観察可能性の未来を形作るのを手伝ってください。
OpenllMetry-JSは、Opentelemetryの上に構築された一連の拡張機能であり、LLMアプリケーションで完全に観察可能になります。フードの下でOpentelemetryを使用するため、既存の観測可能性ソリューション(DataDog、Honeycombなどに接続できます。
Apache 2.0ライセンスの下でTraceloopによって構築および維持されています。
リポジトリには、LLMプロバイダーとベクターDBS向けの標準のオペンテレメートリーインストルメンツと、OpenllMetry-JSを簡単に開始できるTraceLoopSDKが含まれていますが、観察可能性スタックに接続できる標準のオペンテレメトリーデータを出力しています。既にOpentelemetryが計装されている場合は、機器を直接追加するだけです。
始める最も簡単な方法は、SDKを使用することです。完全なガイドについては、ドキュメントにアクセスしてください。
SDKをインストールします:
npm install --save @traceloop/node-server-sdk次に、コードの計装を開始するには、これら2行をコードに追加するだけです。
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ; LLMモジュールをインポートする前に、必ずSDK importください。
それでおしまい。 OpenllMetry-JSでコードをトレースしました!これをローカルで実行している場合は、バッチ送信を無効にすることをお勧めしますので、すぐにトレースを確認できます。
traceloop . initialize ( { disableBatch : true } ) ;これで、トレースをどこにエクスポートするかを決定する必要があります。
それぞれに接続する手順については、ドキュメントを参照してください。
OpenllMetry -JSは、OpenTeleMetryがすでに機器を備えているすべてのものを機器にすることができます。そのため、DB、API呼び出しなどがあります。それに加えて、Openaiや人類への呼び出し、またはPinecone、Chroma、WeaviateなどのベクターDBなどのものを装備するカスタムエクステンションのセットを構築しました。
それが大きくても小さいかどうかにかかわらず、私たちは貢献が大好きです。
どこから始めればいいのかわからない?あなたはできる: