追踪Genai App代码的单镜
Monocle可帮助开发人员和平台工程师构建或管理Genai应用程序,通过使其易于启动代码来捕获符合开源云的可观察性生态系统的痕迹来监视这些产品。
Monocle是一个以社区为导向的OSS框架,用于追踪被管辖的Genai App代码,该代码由Linux Foundation AI&Data Project管理。
为什么要单轨
单镜的建造适用于:
- 应用开发人员在任何环境中都在没有很多自定义代码装饰的情况下跟踪其应用程序代码
- 平台工程师通过包装而不是要求应用程序Devs重新编码来进行仪表应用程序。
- Genai组件提供商可以在其产品中添加可观察性功能
- 企业在其现有的开源可观察性堆栈中消耗Genai应用程序的痕迹
好处:
- 单镜提供了实现 +软件包,而不仅仅是规格
- 无需opentelemetry规格方面的专业知识
- 该规范无定制的实施
- 没有最后一英里的Genai域特定的代码来启动您的应用
- 单片公司提供一致性
- 连接跨应用程序代码执行,模型推理或数据检索
- 不需要跨Genai组件提供商清理遥测数据
- 在个人实验室开发或组织云产品环境中相同的工作
- 将痕迹发送到适合您的规模,预算和可观察性堆栈的位置
- 单片电脑是完全开源的,社区驱动的
- 没有供应商锁定
- 实施是透明的
- 您可以自由使用或自定义以满足您的需求
单镜提供的
- 易于使用的代码仪器
- OpenTelemetry兼容跨度的格式。
- 社区策划且可扩展的元模型,用于共同追踪Genai组件。
- 导出到本地和云存储
使用单镜
pip install monocle_apptrace
- 仪器您的应用程序代码
- 导入单片包装
from monocle_apptrace.instrumentor import setup_monocle_telemetry
main()函数中的设置仪器 setup_monocle_telemetry(workflow_name="your-app-name")
- (选项)修改config以在发送轨迹的地方变更
有关更多详细信息,请参见Monocle用户指南。
路线图
单片机构的目标是支持以任何语言编写的LLM编排或代理框架编写的应用程序,并使用模型,向量,代理或其他组件构建的任何云或模型推理提供商提供的内容。
当前版本支持:
- 语言:(?)python,()打字稿
- llm-frameworks:(?)langchain,(?)llamaindex,(?)haystack,()烧瓶
- LLM推理提供商:(?)OpenAi,(?)Azure Openai,(?)Nvidia triton,()AWS Bedrock,()Google vertex,()Azure ml,()拥抱脸
- 向量商店:(?)faiss,()opensearch,()米尔弗斯
- 出口商:(?)stdout,(?)file,()azure blob存储,()AWS S3,()Google Cloud Storage
介入
提供反馈
贡献
- Monocle是基于社区的开源项目。我们欢迎您的贡献。有关指南,请参考贡献和code_of_conduct。撰稿人指南提供了该项目的技术细节。