追踪Genai App代碼的單鏡
Monocle可幫助開發人員和平台工程師構建或管理Genai應用程序,通過使其易於啟動代碼來捕獲符合開源雲的可觀察性生態系統的痕跡來監視這些產品。
Monocle是一個以社區為導向的OSS框架,用於追踪被管轄的Genai App代碼,該代碼由Linux Foundation AI&Data Project管理。
為什麼要單軌
單鏡的建造適用於:
- 應用開發人員在任何環境中都在沒有很多自定義代碼裝飾的情況下跟踪其應用程序代碼
- 平台工程師通過包裝而不是要求應用程序Devs重新編碼來進行儀表應用程序。
- Genai組件提供商可以在其產品中添加可觀察性功能
- 企業在其現有的開源可觀察性堆棧中消耗Genai應用程序的痕跡
好處:
- 單鏡提供了實現 +軟件包,而不僅僅是規格
- 無需opentelemetry規格方面的專業知識
- 該規範無定制的實施
- 沒有最後一英里的Genai域特定的代碼來啟動您的應用
- 單片公司提供一致性
- 連接跨應用程序代碼執行,模型推理或數據檢索
- 不需要跨Genai組件提供商清理遙測數據
- 在個人實驗室開發或組織雲產品環境中相同的工作
- 將痕跡發送到適合您的規模,預算和可觀察性堆棧的位置
- 單片電腦是完全開源的,社區驅動的
- 沒有供應商鎖定
- 實施是透明的
- 您可以自由使用或自定義以滿足您的需求
單鏡提供的
- 易於使用的代碼儀器
- OpenTelemetry兼容跨度的格式。
- 社區策劃且可擴展的元模型,用於共同追踪Genai組件。
- 導出到本地和雲存儲
使用單鏡
pip install monocle_apptrace
- 儀器您的應用程序代碼
- 導入單片包裝
from monocle_apptrace.instrumentor import setup_monocle_telemetry
main()函數中的設置儀器 setup_monocle_telemetry(workflow_name="your-app-name")
- (選項)修改config以在發送軌蹟的地方變更
有關更多詳細信息,請參見Monocle用戶指南。
路線圖
單片機構的目標是支持以任何語言編寫的LLM編排或代理框架編寫的應用程序,並使用模型,向量,代理或其他組件構建的任何云或模型推理提供商提供的內容。
當前版本支持:
- 語言:(?)python,()打字稿
- llm-frameworks:(?)langchain,(?)llamaindex,(?)haystack,()燒瓶
- LLM推理提供商:(?)OpenAi,(?)Azure Openai,(?)Nvidia triton,()AWS Bedrock,()Google vertex,()Azure ml,()擁抱臉
- 向量商店:(?)faiss,()opensearch,()米爾弗斯
- 出口商:(?)stdout,(?)file,()azure blob存儲,()AWS S3,()Google Cloud Storage
介入
提供反饋
貢獻
- Monocle是基於社區的開源項目。我們歡迎您的貢獻。有關指南,請參考貢獻和code_of_conduct。撰稿人指南提供了該項目的技術細節。