openlit下載 - 開源代碼openlit

openlit

其他源碼

py-1.32.5

下載

可觀察性，評估，護欄，提示，金庫，操場

AI工程的開源平台

文檔| QuickStart | Python SDK |打字稿SDK |

路線圖|功能請求|報告一個錯誤

demo.mp4

OpenLit允許您簡化AI開發工作流程，尤其是對於生成的AI和LLM。它簡化了必不可少的任務，例如嘗試LLM，組織和版本的提示以及安全處理API鍵。僅使用一行代碼，您就可以啟用OpenTelemetry-native可觀察性，提供包括LLMS，Vector數據庫和GPU在內的全堆棧監視。這使開發人員能夠自信地構建AI功能和應用程序，從測試到生產順利過渡。

該項目自豪地遵循和維護Opentelemetry社區的語義慣例，並不斷更新以與可觀察性的最新標准保持一致。

⚡功能

OpenLit橫幅

？分析儀表板：通過詳細的儀表板監視您的AI應用程序的健康和性能，以跟踪指標，成本和用戶交互，從而清楚地了解整體效率。
？ OpenTelemetry-native可觀察性SDK ：供應商中立的SDK將痕跡和指標發送到您現有的可觀察性工具。
？定制和微調模型的成本跟踪：使用定制定價文件進行精確預算的特定模型量身定製成本估算。
？異常監視儀表板：通過專用監視儀表板跟踪常見異常和錯誤，快速發現並解決問題。
？提示管理：使用及時集線器的管理和版本提示，以在應用程序之間進行一致且易於訪問。
？ API密鑰和秘密管理：中央安全地處理API鍵和秘密，避免使用不安全的做法。
？與不同的LLMS經驗：使用OpenGround並排探索，測試和比較各種LLMS。

LLM可觀察性開始

流程圖TB；
    子圖“”
        方向LR;
        子圖“”
            方向LR;
            openlit_sdk [openlit sdk]  - > |發送痕跡和指標| OTC [OpentElemetry Collector];
            OTC-> |存儲數據| ClickhousedB [Clickhouse];
        結尾
        子圖“”
            方向RL;
            openlit_ui [openlit]  - > |拉數據| clickhousedb;
        結尾
    結尾

步驟1：部署OpenLit堆棧

git克隆openlit存儲庫
打開您的命令行或終端並運行：
```
git clone [email protected]:openlit/openlit.git
```
使用Docker的自主
通過以下命令部署並運行OpenLit：
```
docker compose up -d
```

有關使用頭盔安裝在Kubernetes安裝的說明，請參閱Kubernetes Helm安裝指南。

步驟2：安裝OpenLit SDK

打開您的命令行或終端並運行：

pip install openlit

有關使用TypeScript SDK的說明，請訪問TypeScript SDK安裝指南。

步驟3：在您的應用程序中初始化openlit

通過將以下行添加到代碼中，將OpenLit集成到您的AI應用程序中。

 import openlit

openlit . init ()

按照以下方式配置遙測數據目標：

目的	參數/環境變量	用於發送openlit
將數據發送到HTTP OTLP端點	`otlp_endpoint`或`OTEL_EXPORTER_OTLP_ENDPOINT`	`"http://127.0.0.1:4318"`
身份驗證遙測後端	`otlp_headers`或`OTEL_EXPORTER_OTLP_HEADERS`	默認不需要

信息：如果未提供otlp_endpoint或OTEL_EXPORTER_OTLP_ENDPOINT ，則OpenLit SDK將直接輸出到您的控制台，這是在開發階段中建議的。

例子

使用函數參數初始化

將以下兩行添加到您的應用程序代碼：

 import openlit

openlit . init (
  otlp_endpoint = "http://127.0.0.1:4318" , 
)

使用環境變量初始化

將以下兩行添加到您的應用程序代碼：

 import openlit

openlit . init ()

然後，使用環境變量配置OTLP端點：

 export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "

步驟4：可視化和優化！

隨著可觀察性數據現在被收集並發送到OpenLit，下一步是可視化和分析這些數據，以了解您AI應用程序的性能，行為和確定改進領域。

只需前往瀏覽器上的127.0.0.1:3000的OpenLit即可開始探索。您可以使用默認憑據登錄

電子郵件： [email protected]
密碼： openlituser

？️路線圖

我們致力於不斷改善敞開。以下是要完成的工作和即將到來的事情：

特徵	地位
opentelemetry-native可觀察性SDK用於跟踪和指標	✅完成
Opentelemetry-native GPU監測	✅完成
例外和錯誤監視	✅完成
及時用於管理和版本控制提示的集線器	✅完成
用於測試和比較LLM的開放式地面	✅完成
LLM API鍵和秘密中央管理的保險庫	✅完成
定制模型的成本跟踪	✅完成
實時護欄實現	✅完成
LLM響應的程序化評估	✅完成
基於用法的自動評估指標	即將推出
人力法LLM事件的反饋	即將推出
基於LLM事件的數據集生成	即將推出
搜索軌跡	即將推出