openlit

観察可能性、評価、ガードレール、プロンプト、金庫、遊び場

AIエンジニアリング用のオープンソースプラットフォーム

ドキュメント| QuickStart | Python SDK | TypeScript SDK |

ロードマップ|機能リクエスト|バグを報告します

---

demo.mp4

OpenLitを使用すると、特に生成AIおよびLLMSのAI開発ワークフローを簡素化できます。 LLMSでの実験、整理とバージョンのプロンプト、APIキーの安全な処理などの重要なタスクを合理化します。コードの1行だけで、 Opentelemetry-Nativeの観測可能性を有効にして、LLMS、Vectorデータベース、GPUを含むフルスタックモニタリングを提供できます。これにより、開発者は自信を持ってAI機能とアプリケーションを構築し、テストから生産までスムーズに移行できます。

このプロジェクトは、Opentelemetryコミュニティとのセマンティックコンベンションを誇らしげに維持し、常に更新して、観察可能性の最新の標準に合わせて更新します。

⚡機能

• ？ Analyticsダッシュボード：メトリック、コスト、ユーザーの対話を追跡する詳細なダッシュボードでAIアプリケーションの健康とパフォーマンスを監視し、全体的な効率の明確なビューを提供します。

• ？ Opentelemetry-Native Observability SDKS ：既存の観測可能性ツールにトレースとメトリックを送信するベンダー中立SDK。

• ？カスタムおよび微調整されたモデルのコスト追跡：正確な予算編成のためにカスタム価格設定ファイルを使用した特定のモデルのコストの推定を調整します。

• ？例外ダッシュボードの監視：専用の監視ダッシュボードで一般的な例外とエラーを追跡することにより、問題をすばやく見つけて解決します。

• ？プロンプト管理：プロンプトハブを使用して、アプリケーション全体で一貫した簡単なアクセスを行うために、管理とバージョンのプロンプトを管理します。

• ？ APIキーとシークレット管理：APIキーと秘密を中央に安全に処理し、安全でない実践を避けます。

• ？異なるLLMを使用したExperientemnt ：オープングラウンドを使用して、さまざまなLLMSを並べて探索、テスト、比較します。

LLMの観測性を開始します

フローチャートTB;
    サブグラフ ""
        方向LR;
        サブグラフ ""
            方向LR;
            openlit_sdk [openlit sdk]  - > |トレースとメトリックを送信| OTC [OpenteleMetry Collector];
            OTC-> |データを保存| ClickHousedB [Clickhouse];
        終わり
        サブグラフ ""
            方向RL;
            openlit_ui [openlit]  - > |データをプルします| clickhousedb;
        終わり
    終わり

ステップ1：OpenLitスタックを展開します

1. Git Clone OpenLitリポジトリ

   コマンドラインまたは端末を開いて実行します。

   git clone [email protected]:openlit/openlit.git

2. Dockerを使用した自己ホスト

   次のコマンドでdeployとopenlitを実行します。

   docker compose up -d

ヘルムを使用したKubernetesにインストールする手順については、Kubernetes Helmインストールガイドを参照してください。

ステップ2：OpenLit SDKをインストールします

コマンドラインまたは端末を開いて実行します。

pip install openlit

TypeScript SDKを使用する手順については、TypeScript SDKインストールガイドにアクセスしてください。

ステップ3：アプリケーションのOpenLitを初期化します

次の行をコードに追加して、OpenLitをAIアプリケーションに統合します。

 import openlit

openlit . init ()

次のように、テレメトリーデータの宛先を構成します。

目的	パラメーター/環境変数	OpenLitに送信するため
HTTP OTLPエンドポイントにデータを送信します	otlp_endpointまたはOTEL_EXPORTER_OTLP_ENDPOINT	"http://127.0.0.1:4318"
テレメトリのバックエンドを認証します	otlp_headersまたはOTEL_EXPORTER_OTLP_HEADERS	デフォルトでは必要ありません

情報： otlp_endpointまたはOTEL_EXPORTER_OTLP_ENDPOINTが提供されていない場合、OpenLit SDKは、開発フェーズ中に推奨されるコンソールに直接トレースを出力します。

例

---

関数引数を使用して初期化します

次の2行をアプリケーションコードに追加します。

 import openlit

openlit . init (
  otlp_endpoint = "http://127.0.0.1:4318" , 
)

---

---

環境変数を使用して初期化します

次の2行をアプリケーションコードに追加します。

 import openlit

openlit . init ()

次に、環境変数を使用してOTLPエンドポイントを構成します。

 export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "

---

ステップ4：視覚化と最適化！

観測可能性データが収集され、OpenLitに送信されると、次のステップは、このデータを視覚化および分析して、AIアプリケーションのパフォーマンス、動作、改善領域を特定することです。

ブラウザで127.0.0.1:3000でOpenLitに向かい、探索を開始してください。デフォルトの資格情報を使用してログインできます

• メール： [email protected]
• パスワード： openlituser

？§ロードマップ

OpenLitを継続的に改善することに専念しています。これは、何が達成されているか、何が地平線上にあるのかを見てみましょう。

特徴	状態
トレースおよびメトリックのためのOpentelemetry-Native Observability SDK	✅完了しました
Opentelemetry-Native GPUモニタリング	✅完了しました
例外とエラー監視	✅完了しました
管理とバージョンのプロンプトのプロンプトハブ	✅完了しました
LLMSのテストと比較のためのオープングラウンド	✅完了しました
LLM APIキーと秘密の中央管理のためのボールト	✅完了しました
カスタムモデルのコスト追跡	✅完了しました
リアルタイムガードレールの実装	✅完了しました
LLM応答のプログラム評価	✅完了しました
使用法に基づく自動評価メトリック	近日公開
LLMイベントの人間のフィードバック	近日公開
LLMイベントに基づくデータセット生成	近日公開
トレースを検索します	近日公開

？貢献

それが大きくても小さいかどうかにかかわらず、私たちは貢献が大好きです。開始するために私たちの貢献ガイドをチェックしてください

どこから始めればいいのかわからない？関与するいくつかの方法があります：

• SlackまたはDiscordコミュニティに参加して、アイデアについて話し合い、フィードバックを共有し、チームとより広いオープンリットコミュニティの両方とつながります。

あなたのインプットは私たちが成長し、改善するのに役立ちます。私たちは、あらゆる段階であなたをサポートするためにここにいます。

コミュニティとサポート

サポート、ディスカッション、更新のために、OpenLitコミュニティやメンテナーと接続してください。

• ？あなたがそれが好きなら、私たちのgithubに星を残してください
• ？ライブインタラクションや質問については、SlackまたはDiscordコミュニティに参加してください。
• ？ GitHubの問題に関するバグを報告して、OpenLitを改善するのに役立ちます。
• ？最新のアップデートとニュースについては、Xでフォローしてください。

ライセンス

OpenLitは、Apache-2.0ライセンスの下で利用できます。