Monocle для отслеживания кода приложения Genai
Monocle помогает разработчикам и инженерам платформ создавать или управлять приложениями Genai контролировать их в PROD, позволяя легкому придавлению их кода для захвата трассов, которые соответствуют экосистеме наблюдения с открытым исходным кодом.
Monocle -это ориентированная на сообщество Framework для отслеживания кода приложения Genai, управляемого как проект Linux Foundation AI & Data.
Почему монокль
Монокль построен для:
- Разработчики приложений , чтобы отслеживать код приложения в любой среде без большого количества пользовательского кода
- Инженеры платформы для приложений приложений в PROD через упаковку вместо того, чтобы просить приложения разработчики для перекодирования
- Genai Providers для добавления функций наблюдаемости в свои продукты
- Предприятия для потребления трассов из приложений Genai в их существующем стеке наблюдаемости с открытым исходным кодом
Преимущества:
- Monocle предоставляет пакет реализации +, а не только спецификация
- Не требуется опыта в спецификации Opentelemetry
- Не требуется индивидуальная реализация этой спецификации
- Нет последней мили Genai Domain Special Code, необходимый для инструмента вашего приложения
- Monocle обеспечивает последовательность
- Подключить следы через выполнения кода приложения, вывод модели или поиск данных
- Не требуется очистка данных телеметрии по поставщикам компонентов Genai
- Работает одинаково в личных лабораторных средах или облачных средах
- Отправьте следы в местоположение, которое соответствует вашему масштабе, бюджету и стеку наблюдения
- Monocle полностью с открытым исходным кодом и сообществом
- Нет блокировки продавца
- Реализация прозрачна
- Вы можете свободно использовать или настроить его в соответствии с вашими потребностями
Что обеспечивает монокль
- Простая в использовании кодовой инструмент
- Совместимый формат OpenElemetry для пролетов.
- Основанная на сообществе и расширяемая метамодель для последовательного отслеживания компонентов Genai.
- Экспорт в локальное и облачное хранилище
Используйте Monocle
pip install monocle_apptrace
- Инструментация вашего приложения код
- Импортировать пакет Monocle
from monocle_apptrace.instrumentor import setup_monocle_telemetry
- Настройка инструментов в вашей функции
main() setup_monocle_telemetry(workflow_name="your-app-name")
- (Необязательно) изменить config to writh, куда отправляются трассировки
См. Руководство пользователя Monocle для получения более подробной информации.
Дорожная карта
Цель Monocle - поддержка отслеживания для приложений, написанных на любом языке с любым оркестровкой LLM или агентской структурой , а также создана с использованием моделей, векторов, агентов или других компонентов, обслуживаемых любым облачным или поставщиком моделей .
Текущая версия поддерживает:
- Язык: (?) Python, () TypeScript
- Llm-frameworks: (?) Langchain, (?) Lmamaindex, (?) Hay Stack, () Flask
- LLM -поставщики выводов: (?) Openai, (?) Azure OpenAI, (?) NVIDIA TRITON, () AWS BEDROCK, () Google Vertex, () Azure ML, () обнимающееся лицо
- Векторные магазины: (?) Faiss, () opensearch, () milvus
- Экспортер: (?) STDOUT, (?) File, () Azure Blob Blob Storage, () AWS S3, () Google Cloud Storage
Принять участие
Обеспечить обратную связь
- Отправить вопросы и запросы на улучшение с помощью вопросов GitHub
Способствовать
- Monocle - это общественный проект с открытым исходным кодом. Мы приветствуем ваш вклад. Пожалуйста, обратитесь к Appling и CODE_OF_CONDUCT для руководящих принципов. Руководство участника предоставляет технические детали проекта.
