Monocle pour le traçage du code d'application Genai
Monocle aide les développeurs et les ingénieurs de plate-forme à construire ou à gérer les applications Genai les surveiller en prod en facilitant l'instrument de leur code pour capturer des traces qui sont conformes à l'écosystème d'observabilité du cloud-source open source.
Monocle est un cadre OSS axé sur la communauté pour le traçage du code d'application Genai régi en tant que projet AI et de données de fondation Linux.
Pourquoi monocle
Monocle est construit pour:
- Développeurs d'applications pour tracer leur code d'application dans n'importe quel environnement sans beaucoup de décoration de code personnalisée
- Ingénieurs de plate-forme pour instruments des applications dans les producteurs par emballage au lieu de demander aux développeurs d'applications de recoder
- Les fournisseurs de composants Genai pour ajouter des caractéristiques d'observabilité à leurs produits
- Enterprises à consommer des traces à partir des applications Genai dans leur pile d'observabilité open source existante
Avantages:
- Monocle fournit un package implémentation +, pas seulement une spécification
- Aucune expertise dans les spécifications de l'OpenTelemetry requises
- Aucune implémentation sur mesure de cette spécification requise
- Aucun code spécifique du domaine Genai de dernier mile requis pour instrumenter votre application
- Monocle assure la cohérence
- Connectez les traces entre les exécutions du code d'application, l'inférence du modèle ou les récupérations de données
- Aucune nettoyage des données de télémétrie entre les fournisseurs de composants Genai requis
- Fonctionne la même
- Envoyez des traces à un emplacement qui correspond à votre échelle, votre budget et votre pile d'observabilité
- Monocle est entièrement open source et axé sur la communauté
- Pas de verrouillage du fournisseur
- La mise en œuvre est transparente
- Vous pouvez l'utiliser ou le personnaliser librement pour répondre à vos besoins
Ce que monocle fournit
- Instrumentation de code facile à utiliser
- Format compatible pour les portes.
- Métamodèle organisé par la communauté et extensible pour le traçage constant des composants Genai.
- Exporter vers le stockage local et cloud
Utiliser monocle
- Obtenez le package Monocle
pip install monocle_apptrace
- Instrument votre code d'application
- Importer le package Monocle
from monocle_apptrace.instrumentor import setup_monocle_telemetry
- Instrumentation de configuration dans votre fonction
main() setup_monocle_telemetry(workflow_name="your-app-name")
- (Éventuellement) Modifier la configuration pour modifier où les traces sont envoyées
Voir Guide de l'utilisateur Monocle pour plus de détails.
Feuille de route
L'objectif de Monocle est de prendre en charge le traçage des applications écrites dans n'importe quelle langue avec n'importe quelle orchestration LLM ou cadre agentique et construit à l'aide de modèles, vecteurs, agents ou autres composants servis par tout fournisseur d'inférence de nuage ou de modèle .
Prise en charge de la version actuelle:
- Langue: (?) Python, () TypeScript
- LLM-Frameworks: (?) Langchain, (?) Llamaindex, (?) Haystack, () Flash
- Llm Inference Providers: (?) Openai, (?) Azure Openai, (?) Nvidia Triton, () Aws Bedrock, () Google Vertex, () Azure Ml, () Face étreinte
- Magasins vectoriels: (?) Faiss, () Opeensearch, () Milvus
- Exportateur: (?) STDOUT, (?) Fichier, () Azure Blob Storage, () AWS S3, () Google Cloud Storage
S'impliquer
Fournir des commentaires
- Soumettre les problèmes et les demandes d'amélioration via les problèmes de github
Contribuer
- Monocle est un projet open source communautaire. Nous accueillons vos contributions. Veuillez vous référer à la contribution et Code_Of_Conduct pour les directives. Le guide du contributeur fournit des détails techniques du projet.
