openlit
py-1.32.5
文档| QuickStart | Python SDK |打字稿SDK |
路线图|功能请求|报告一个错误
OpenLit允许您简化AI开发工作流程，尤其是对于生成的AI和LLM。它简化了必不可少的任务，例如尝试LLM，组织和版本的提示以及安全处理API键。仅使用一行代码，您就可以启用OpenTelemetry-native可观察性，提供包括LLMS，Vector数据库和GPU在内的全堆栈监视。这使开发人员能够自信地构建AI功能和应用程序，从测试到生产顺利过渡。
该项目自豪地遵循和维护Opentelemetry社区的语义惯例，并不断更新以与可观察性的最新标准保持一致。
？分析仪表板：通过详细的仪表板监视您的AI应用程序的健康和性能，以跟踪指标，成本和用户交互，从而清楚地了解整体效率。
？ OpenTelemetry-native可观察性SDK ：供应商中立的SDK将痕迹和指标发送到您现有的可观察性工具。
？定制和微调模型的成本跟踪：使用定制定价文件进行精确预算的特定模型量身定制成本估算。
？异常监视仪表板：通过专用监视仪表板跟踪常见异常和错误，快速发现并解决问题。
？提示管理：使用及时集线器的管理和版本提示，以在应用程序之间进行一致且易于访问。
？ API密钥和秘密管理：中央安全地处理API键和秘密，避免使用不安全的做法。
？与不同的LLMS经验：使用OpenGround并排探索，测试和比较各种LLMS。
流程图TB；
子图“”
方向LR;
子图“”
方向LR;
openlit_sdk [openlit sdk] - > |发送痕迹和指标| OTC [OpentElemetry Collector];
OTC-> |存储数据| ClickhousedB [Clickhouse];
结尾
子图“”
方向RL;
openlit_ui [openlit] - > |拉数据| clickhousedb;
结尾
结尾
git克隆openlit存储库
打开您的命令行或终端并运行：
git clone [email protected]:openlit/openlit.git使用Docker的自主
通过以下命令部署并运行OpenLit：
docker compose up -d有关使用头盔安装在Kubernetes安装的说明，请参阅Kubernetes Helm安装指南。
打开您的命令行或终端并运行：
pip install openlit有关使用TypeScript SDK的说明，请访问TypeScript SDK安装指南。
通过将以下行添加到代码中，将OpenLit集成到您的AI应用程序中。
import openlit
openlit . init ()按照以下方式配置遥测数据目标：
| 目的 | 参数/环境变量 | 用于发送openlit |
|---|---|---|
| 将数据发送到HTTP OTLP端点 | otlp_endpoint或OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| 身份验证遥测后端 | otlp_headers或OTEL_EXPORTER_OTLP_HEADERS | 默认不需要 |
信息：如果未提供
otlp_endpoint或OTEL_EXPORTER_OTLP_ENDPOINT，则OpenLit SDK将直接输出到您的控制台，这是在开发阶段中建议的。
将以下两行添加到您的应用程序代码：
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)将以下两行添加到您的应用程序代码：
import openlit
openlit . init ()然后，使用环境变量配置OTLP端点：
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "随着可观察性数据现在被收集并发送到OpenLit，下一步是可视化和分析这些数据，以了解您AI应用程序的性能，行为和确定改进领域。
只需前往浏览器上的127.0.0.1:3000的OpenLit即可开始探索。您可以使用默认凭据登录
[email protected]openlituser 
我们致力于不断改善敞开。以下是要完成的工作和即将到来的事情：
| 特征 | 地位 |
|---|---|
| opentelemetry-native可观察性SDK用于跟踪和指标 | ✅完成 |
| Opentelemetry-native GPU监测 | ✅完成 |
| 例外和错误监视 | ✅完成 |
| 及时用于管理和版本控制提示的集线器 | ✅完成 |
| 用于测试和比较LLM的开放式地面 | ✅完成 |
| LLM API键和秘密中央管理的保险库 | ✅完成 |
| 定制模型的成本跟踪 | ✅完成 |
| 实时护栏实现 | ✅完成 |
| LLM响应的程序化评估 | ✅完成 |
| 基于用法的自动评估指标 | 即将推出 |
| 人力法LLM事件的反馈 | 即将推出 |
| 基于LLM事件的数据集生成 | 即将推出 |
| 搜索轨迹 | 即将推出 |
无论是大还是小，我们都喜欢贡献。查看我们开始的贡献指南
不确定从哪里开始？这里有几种参与的方法：
您的意见有助于我们成长和改进，我们在这里为您提供每一步。
与OpenLit社区和维护人员联系以提供支持，讨论和更新：
OpenLit可在Apache-2.0许可下获得。
