Monocle para rastrear el código de la aplicación Genai
Monocle ayuda a los desarrolladores e ingenieros de plataformas a construir o administrar aplicaciones Genai a monitorearlas en PROD al facilitar el instrumento de su código para capturar trazas que cumplen con el ecosistema de observabilidad nativo de nube de código abierto.
Monocle es un marco OSS impulsado por la comunidad para rastrear el código de la aplicación Genai rigado como un proyecto de datos de IA y datos de la Fundación Linux.
Por qué monocle
Monocle está construido para:
- Desarrolladores de aplicaciones para rastrear el código de su aplicación en cualquier entorno sin mucha decoración de código personalizado
- Ingenieros de la plataforma a aplicaciones de instrumentos en Prod a través de envoltura en lugar de pedirle a los desarrolladores de aplicaciones que recodifiquen
- Proveedores de componentes de Genai para agregar características de observabilidad a sus productos
- empresas para consumir rastros de las aplicaciones Genai en su pila de observabilidad de código abierto existente
Beneficios:
- Monocle proporciona un paquete de implementación +, no solo una especificación
- No se requiere experiencia en la especificación de OperElemetry
- No se requiere implementación a medida de esa especificación
- No se requiere un código específico de dominio Genai de última milla para instrumentar su aplicación
- Monocle proporciona consistencia
- Conecte trazas en ejecuciones de código de la aplicación, inferencia del modelo o recuperaciones de datos
- No se requieren limpieza de datos de telemetría en los proveedores de componentes de Genai
- Funciona lo mismo en los entornos personales de Lab Dev o Org Cloud Prod
- Envíe rastros a la ubicación que se ajuste a su escala, presupuesto y pila de observabilidad
- Monocle es de código abierto y impulsado por la comunidad
- Sin bloqueo de proveedores
- La implementación es transparente
- Puede usarlo o personalizarlo libremente para satisfacer sus necesidades
Lo que proporciona Monocle
- Instrumentación de código fácil de usar
- Formato compatible con Operentelemetry para tramos.
- Metamodelo extensible y curado por la comunidad para el rastreo de consiso de los componentes de Genai.
- Exportar al almacenamiento local y en la nube
Usar Monocle
- Obtenga el paquete Monocle
pip install monocle_apptrace
- Instrumento el código de su aplicación
- Importar el paquete Monocle
from monocle_apptrace.instrumentor import setup_monocle_telemetry
- Instrumentación de configuración en su función
main() setup_monocle_telemetry(workflow_name="your-app-name")
- (Opcionalmente) modifique la configuración para alterar dónde se envían trazas
Consulte la guía del usuario de Monocle para obtener más detalles.
Hoja de ruta
El objetivo de Monocle es admitir el rastreo de aplicaciones escritas en cualquier idioma con cualquier marco de orquestación LLM o agente y construido utilizando modelos, vectores, agentes u otros componentes atendidos por cualquier proveedor de inferencia de nubes o modelos .
Soporte de versión actual:
- Idioma: (?) Python, () TypeScript
- LLM-FrameWorks: (?) Langchain, (?) Llamaindex, (?) Haystack, () Flask
- LLM Proveedores de inferencia: (?) OpenAi, (?) Azure OpenAi, (?) Nvidia Triton, () AWS Bedrock, () Google Vertex, () Azure Ml, () Costa abrazada
- Tiendas vectoriales: (?) Faiss, () OpenSearch, () Milvus
- Exportador: (?) Stdout, (?) Archivo, () Azure Blob Storage, () AWS S3, () Google Cloud Storage
Complicarse
Proporcionar comentarios
- Enviar problemas y solicitudes de mejoras a través de problemas de GitHub
Contribuir
- Monocle es un proyecto de código abierto basado en la comunidad. Agradecemos sus contribuciones. Consulte el contribuyente y el código_of_conduct para las pautas. La Guía del contribuyente proporciona detalles técnicos del proyecto.
