openlit
py-1.32.5
Документация | QuickStart | Python SDK | TypeScript SDK |
Дорожная карта | Запрос функции | Сообщить об ошибке
Openlit позволяет вам упростить ваш рабочий процесс разработки ИИ, особенно для генеративного ИИ и LLMS. Он оптимизирует важные задачи, такие как экспериментирование с LLMS, организацию и подсказки для выпуска версий, а также надежно обрабатывают клавиши API. С помощью только одной строки кода вы можете включить наблюдаемость Openelemetry , предлагая мониторинг полного стека, который включает LLMS, векторные базы данных и графические процессоры. Это позволяет разработчикам уверенно создавать функции и приложения ИИ, плавно переходя от тестирования к производству.
Этот проект с гордостью следует и поддерживает семантические соглашения с сообществом Opentelemetry, последовательно обновляясь, чтобы соответствовать последним стандартам в наблюдении.
? Analytics Dashboard : контролируйте здоровье и производительность вашего приложения для AI с помощью подробных панелей мониторинга, которые отслеживают метрики, затраты и взаимодействие с пользователями, обеспечивая четкое представление об общей эффективности.
? OpenElemetry Con-Compeicalbity SDK : Нейтральные SDK-поставщики для отправки трассов и метрик в ваши существующие инструменты наблюдения.
? Отслеживание затрат для пользовательских и тонких моделей : адаптируйте оценки затрат для конкретных моделей, использующих пользовательские файлы ценообразования для точного бюджета.
? Исключения Мониторинг панели панели : быстро определить и решить проблемы, отслеживая общие исключения и ошибки с помощью специальной мониторинга панели панели.
? Управление быстрого управления : управление и версии подсказка с использованием rommest hub для последовательного и простого доступа между приложениями.
? Ключи API и Управление секретами : безопасно обрабатывать свои клавиши API и секреты центрально, избегая небезопасной практики.
? Познакомьтесь с различными LLMS : используйте Openground для изучения, проверки и сравнения различных LLMS рядом.
блок -схема туберкулеза;
подграф ""
Направление LR;
подграф ""
Направление LR;
Openlit_sdk [openlit sdk] -> | Отправляет трассировки и метрики | OTC [Openelemetry Collector];
OTC -> | сохраняет данные | Clickhousedb [clickhouse];
конец
подграф ""
Направление RL;
Openlit_ui [openlit] -> | тянет данные | Clickhousedb;
конец
конец
Git Clone Openlit Repository
Откройте свою командную строку или терминал и запустите:
git clone [email protected]:openlit/openlit.gitСамоумост с использованием Docker
Развернуть и запустить OpenLit со следующей командой:
docker compose up -dИнструкции по установке в Kubernetes с использованием Helm см. В Руководстве по установке Helm Kubernetes.
Откройте свою командную строку или терминал и запустите:
pip install openlitДля получения инструкций по использованию SDK TypeScript посетите руководство по установке TypeScript SDK.
Интегрируйте OpenLit в ваши приложения AI, добавив следующие строки в ваш код.
import openlit
openlit . init ()Настройка назначения данных телеметрии следующим образом:
| Цель | Параметр/переменная среды | Для отправки в Openlit |
|---|---|---|
| Отправить данные в конечную точку HTTP OTLP | otlp_endpoint или OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Аутентификация телеметрии бэкэнды | otlp_headers или OTEL_EXPORTER_OTLP_HEADERS | Не требуется по умолчанию |
Информация: если
otlp_endpointилиOTEL_EXPORTER_OTLP_ENDPOINTне предоставлен, SDK OpenLIT будет выводить следы непосредственно в вашу консоль, которая рекомендуется на этапе разработки.
Добавьте следующие две строки в код приложения:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Добавьте следующие две строки в код приложения:
import openlit
openlit . init ()Затем настройте конечную точку OTLP с помощью переменной среды:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "С учетом того, что данные об наблюдении, которые теперь собираются и отправляются в Openlit, следующим шагом является визуализация и проанализировать эти данные, чтобы получить представление о производительности, поведении, поведении и определении областей улучшения.
Просто зайдите в Openlit в 127.0.0.1:3000 в вашем браузере, чтобы начать исследовать. Вы можете войти в систему, используя учетные данные по умолчанию
[email protected]openlituser 
Мы стремимся к постоянному улучшению открытия. Вот посмотрите на то, что было достигнуто, а что на горизонте:
| Особенность | Статус |
|---|---|
| OpenElemetry-коренная наблюдаемость SDK для трассировки и метрик | ✅ завершен |
| Opentelemetry-Con-Contive GPU Мониторинг | ✅ завершен |
| Исключения и мониторинг ошибок | ✅ завершен |
| Щелковый центр для управления и подсказки для выпуска версий | ✅ завершен |
| Openground для тестирования и сравнения LLMS | ✅ завершен |
| Убежище для центрального управления клавишами и секретами API LLM | ✅ завершен |
| Отслеживание затрат для пользовательских моделей | ✅ завершен |
| Реализация ограждений в реальном времени | ✅ завершен |
| Программная оценка ответа LLM | ✅ завершен |
| Метрики с автоматической оценкой на основе использования | Вскоре |
| Обратная связь с человеком для событий LLM | Вскоре |
| Генерация наборов данных на основе событий LLM | Вскоре |
| Поиск по следам | Вскоре |
Будь то большой или маленький, мы любим вклад. Проверьте наше руководство по взносу, чтобы начать работу
Не уверены, с чего начать? Вот несколько способов принять участие:
Ваш вклад помогает нам расти и улучшаться, и мы здесь, чтобы поддержать вас на каждом этапе.
Свяжитесь с сообществом Openlit и сопровождающими для поддержки, обсуждений и обновлений:
Openlit доступен по лицензии Apache-2.0.
