openlit
py-1.32.5
Documentación | Quickset | Python SDK | TypeScript SDK |
Hoja de ruta | Solicitud de función | Informar un error
OpenLit le permite simplificar su flujo de trabajo de desarrollo de IA, especialmente para AI y LLM generativos. Redacción de las tareas esenciales como experimentar con LLMS, indicaciones de organización y versiones, y manejo de forma segura las teclas API. Con solo una línea de código, puede habilitar la observabilidad nativa de Operentelemetry , que ofrece un monitoreo de pila completa que incluye LLM, bases de datos de vectores y GPU. Esto permite a los desarrolladores construir con confianza características y aplicaciones de IA, pasando sin problemas de las pruebas a la producción.
Este proyecto sigue con orgullo y mantiene las convenciones semánticas con la comunidad Operentelemetry, actualizándose constantemente para alinearse con los últimos estándares de observabilidad.
? Panel de análisis : monitoree la salud y el rendimiento de su aplicación AI con paneles detallados que rastrean las métricas, los costos y las interacciones del usuario, proporcionando una visión clara de la eficiencia general.
? OPENTELEMETRY-NATIVA OBSVIFBIT SDK : SDKS neutral del proveedor para enviar rastros y métricas a sus herramientas de observabilidad existentes.
? Seguimiento de costos para modelos personalizados y ajustados : adaptación estimaciones de costos para modelos específicos que utilizan archivos de precios personalizados para presupuestos precisos.
? Excepciones Monitoreo del tablero : Rápidamente detecte y resuelva los problemas mediante el seguimiento de las excepciones y errores comunes con un tablero de monitoreo dedicado.
? Administración rápida : Administrar y las indicaciones de la versión utilizando un HUB de inmediato para un acceso consistente y fácil en todas las aplicaciones.
? Gestión de claves y secretos API : maneje de forma segura sus claves y secretos de API centralmente, evitando prácticas inseguras.
? Experiment con diferentes LLM : use Openground para explorar, probar y comparar varios LLM uno al lado del otro.
TB de flujo TB;
subgraph ""
dirección lr;
subgraph ""
dirección lr;
OpenLit_SDK [OpenLit SDK] -> | Envía trazas y métricas | OTC [Collector OpenTelemetry];
OTC -> | Datos de almacenamiento | Clickhousedb [clickhouse];
fin
subgraph ""
dirección rl;
OpenLit_ui [OpenLit] -> | extrae datos | Clickhousedb;
fin
fin
Git Clone Openlit Repository
Abra su línea de comando o terminal y ejecute:
git clone [email protected]:openlit/openlit.gitAuto-anfitrión usando Docker
Implementar y ejecutar OpenLit con el siguiente comando:
docker compose up -dPara obtener instrucciones sobre la instalación en Kubernetes utilizando Helm, consulte la Guía de instalación de Kubernetes Helm.
Abra su línea de comando o terminal y ejecute:
pip install openlitPara obtener instrucciones sobre el uso del SDK de TypeScript, visite la Guía de instalación de TypeScript SDK.
Integre OpenLit en sus aplicaciones AI agregando las siguientes líneas a su código.
import openlit
openlit . init ()Configurar el destino de datos de telemetría de la siguiente manera:
| Objetivo | Variable de parámetro/entorno | Para enviar a OpenLit |
|---|---|---|
| Enviar datos a un punto final HTTP OTLP | otlp_endpoint o OTEL_EXPORTER_OTLP_ENDPOINT | "http://127.0.0.1:4318" |
| Autenticar backends de telemetría | otlp_headers o OTEL_EXPORTER_OTLP_HEADERS | No requerido por defecto |
Información: si no se proporciona
otlp_endpointoOTEL_EXPORTER_OTLP_ENDPOINT, el SDK OpenLit emitirá trazas directamente a su consola, que se recomienda durante la fase de desarrollo.
Agregue las siguientes dos líneas a su código de aplicación:
import openlit
openlit . init (
otlp_endpoint = "http://127.0.0.1:4318" ,
)Agregue las siguientes dos líneas a su código de aplicación:
import openlit
openlit . init ()Luego, configure el punto final de su OTLP utilizando la variable de entorno:
export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "Con los datos de observabilidad ahora recopilados y enviados a OpenLit, el siguiente paso es visualizar y analizar estos datos para obtener información sobre el rendimiento, el comportamiento e identificar las áreas de mejora de su aplicación de IA.
Simplemente diríjase a OpenLit al 127.0.0.1:3000 en su navegador para comenzar a explorar. Puede iniciar sesión utilizando las credenciales predeterminadas
[email protected]openlituser 
Estamos dedicados a mejorar continuamente OpenLit. Aquí hay un vistazo a lo que se ha logrado y lo que está en el horizonte:
| Característica | Estado |
|---|---|
| Operentelemetría de observabilidad nativa SDK para rastreo y métricas | ✅ Completado |
| Monitoreo de la GPU-OperElemetry-Native | ✅ Completado |
| Excepciones y monitoreo de errores | ✅ Completado |
| HUB indicador para administrar y versiones de versiones | ✅ Completado |
| Openground para probar y comparar LLMS | ✅ Completado |
| Bóveda para la gestión central de LLM API Keys and Secrets | ✅ Completado |
| Seguimiento de costos para modelos personalizados | ✅ Completado |
| Implementación de barandas en tiempo real | ✅ Completado |
| Evaluación programática para la respuesta LLM | ✅ Completado |
| Métricas de autoevaluación basadas en el uso | Muy pronto |
| Comentarios humanos para eventos de LLM | Muy pronto |
| Generación del conjunto de datos basada en eventos LLM | Muy pronto |
| Buscar trazas | Muy pronto |
Ya sea grande o pequeño, nos encantan las contribuciones. Consulte nuestra guía de contribución para comenzar
¿No estás seguro de por dónde empezar? Aquí hay algunas formas de involucrarse:
Su aporte nos ayuda a crecer y mejorar, y estamos aquí para apoyarlo en cada paso del camino.
Conéctese con OpenLit Community y mantenedores para obtener apoyo, discusiones y actualizaciones:
OpenLit está disponible bajo la licencia Apache-2.0.
