Monocle para rastrear o código do aplicativo genai
A Monocle ajuda os desenvolvedores e engenheiros de plataformas construindo ou gerenciando aplicativos da Genai monitoram-os em Prod, facilitando a instrumentação de seu código para capturar traços que são compatíveis com o ecossistema de observabilidade nativo da nuvem de código aberto.
A Monocle é uma estrutura OSS orientada pela comunidade para rastrear o código do aplicativo Genai governado como um projeto de dados e dados da Fundação Linux.
Por que monocle
O monóculo é construído para:
- Desenvolvedores de aplicativos para rastrear seu código de aplicativo em qualquer ambiente sem muita decoração de código personalizada
- Engenheiros de plataforma para instrumentar aplicativos no PROD através de embrulho em vez de pedir aos desenvolvedores de aplicativos que recodifiquem
- Provedores de componentes da Genai para adicionar recursos de observabilidade a seus produtos
- Empresas para consumir traços de aplicativos da Genai em sua pilha de observabilidade de código aberto existente
Benefícios:
- Monocle fornece um pacote de implementação +, não apenas uma especificação
- Nenhuma experiência em especificações de OpenElemetria necessária
- Nenhuma implementação sob medida dessa especificação necessária
- Nenhum código específico de domínio genai de última milha necessário para instrumentar seu aplicativo
- O monóculo fornece consistência
- Conecte traços entre execuções de código de aplicativos, inferência de modelo ou recuperação de dados
- Nenhuma limpeza de dados de telemetria entre os provedores de componentes Genai necessários
- Funciona o mesmo em ambientes de Dev Personal Lab dev ou Org Cloud Prod
- Envie traços para o local que se encaixa em sua escala, orçamento e pilha de observabilidade
- Monocle é totalmente de código aberto e conduzido pela comunidade
- Nenhum bloqueio de fornecedor
- A implementação é transparente
- Você pode usá -lo ou personalizá -lo livremente para atender às suas necessidades
O que o monóculo fornece
- Instrumentação de código fácil de usar
- Formato compatível com Opentelemetria para vãos.
- Metamodelo curado e extensível da comunidade para o rastreamento de componentes de Genai.
- Exportar para armazenamento local e em nuvem
Use monóculo
- Obtenha o pacote de monóculo
pip install monocle_apptrace
- Instrumento seu código de aplicativo
- Importar o pacote de monóculo
from monocle_apptrace.instrumentor import setup_monocle_telemetry
- Instrumentação de configuração em sua função
main() setup_monocle_telemetry(workflow_name="your-app-name")
- (Opcionalmente) Modifique a configuração para alterar onde os traços são enviados
Consulte o Guia do Usuário do Monocle para obter mais detalhes.
Roteiro
O objetivo do Monocle é apoiar o rastreamento de aplicativos escritos em qualquer idioma com qualquer estrutura de orquestração ou agêntica LLM e construído usando modelos, vetores, agentes ou outros componentes servidos por qualquer provedor de inferência de nuvem ou modelo .
A versão atual suporta:
- Idioma: (?) Python, () TypeScript
- LLM-FrameWorks: (?) Langchain, (?) Llamaindex, (?) Haystack, () Flask
- Provedores de inferência de LLM: (?) OpenAI, (?) Azure Openai, (?) Nvidia Triton, () AWS Bedrock, () Google Vertex, () Azure ML, () Abraçando o rosto
- Vector Stores: (?) Faiss, () OpenSearch, () Milvus
- Exportador: (?) Stdout, (?) Arquivo, () Azure Blob Storage, () AWS S3, () Google Cloud Storage
Envolver -se
Fornecer feedback
- Enviar questões e solicitações de aprimoramentos por meio de problemas do GitHub
Contribuir
- O Monocle é um projeto de código aberto baseado na comunidade. Congratulamo -nos com suas contribuições. Consulte o contribuinte e o code_of_conduct para obter diretrizes. O guia do colaborador fornece detalhes técnicos do projeto.
