langfuse

Langfuse: plataforma de ingeniería de código abierto LLM

Observabilidad de LLM, Managemento de inmediato, Evaluaciones de LLM,
Conjuntos de datos, métricas de LLM y patio de recreo rápido

Regístrese · Auto host · demostración (datos en vivo)

Documentos · Informe de error · Solicitud de función · ChangeLog · Hoja de ruta · Discords

Langfuse utiliza discusiones de GitHub para solicitudes de soporte y funciones.
Estamos contratando. Únase a nosotros en ingeniería de productos y relaciones de desarrolladores.

Descripción general de Langfuse

Video inmitd para voz en off

Langfuse-Overview-3min.mp4

Desarrollar

• Observabilidad de LLM: instrumentar su aplicación y comenzar a ingerir rastros a Langfuse (rápido, correcto de integraciones)
• Langfuse UI: inspeccionar y depurar registros complejos (demostración, rastreo)
• Administración rápida: administrar, versar e implementar indicaciones desde Langfuse (administración de inmediato)
• Ingeniería rápida: prueba e itera en tus indicaciones con el Playground LLM

Monitor

• LLM Analytics: Métricas de seguimiento (costo, latencia, calidad) y obtenga información de los paneles y exportaciones de datos (Analytics)
• Evaluaciones de LLM: recopile y calcule los puntajes para sus completaciones de LLM (puntajes y evaluaciones)
  • Ejecutar (evaluaciones basadas en modelos) y LLM-as-a-Judge dentro de Langfuse
  • Recopilar comentarios de los usuarios (comentarios de los usuarios)
  • Puntaje manual de salidas LLM en Langfuse (puntajes manuales)

Prueba

• Experimentos: rastree y pruebe el comportamiento de la aplicación antes de implementar una nueva versión
  • Los conjuntos de datos le permiten probar los pares de salida y el rendimiento de la referencia antes de implementar (conjuntos de datos)
  • Seguimiento de versiones y lanzamientos en su aplicación (experimentación, gestión rápida)

Empezar

Nube langfuse

Implementación administrada por el equipo de Langfuse, generoso nivel libre (plan de pasatiempo), no se requiere tarjeta de crédito.

»Langfuse Nube

Observabilidad de LLM de código abierto autohostante con Langfuse

Localhost (Docker)

 # Clone repository
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# Run server and database
docker compose up -d

→ Obtenga más información sobre cómo implementar localmente

Auto-anfitrión (Docker)

Langfuse es fácil de autohost y mantenerse actualizado. Actualmente requiere solo un contenedor Docker y una base de datos Postgres. → Instrucciones de alojamiento automático

Implementaciones plantadas: ferrocarril, GCP, AWS, Azure, Kubernetes y otros

Empezar

Llaves de API

Necesita una llave pública y secreta de Langfuse para comenzar. Regístrese aquí y busquelos en la configuración de su proyecto.

Ingerir datos · Instrumentar su aplicación · LLM Observabilidad con Langfuse

Nota: Recomendamos usar nuestros SDK completamente async y escrito que le permiten instrumentar cualquier aplicación LLM con cualquier modelo subyacente. Están disponibles en Python (decoradores) y JS/TS. Los SDK siempre serán la forma más destacada y estable de ingerir datos en Langfuse.

Vea el → QuickStart para integrar Langfuse.

Integraciones de observabilidad de LLM

Integración	Soporte	Descripción
Sdk	Python, JS/TS	Instrumentación manual utilizando los SDK para la flexibilidad total.
Opadai	Python, JS/TS	Instrumentación automatizada utilizando el reemplazo de la entrega del SDK Operai.
Langchain	Python, JS/TS	Instrumentación automatizada pasando el controlador de devolución de llamada a la aplicación Langchain.
Llamado	Pitón	Instrumentación automatizada a través del sistema de devolución de llamada Llamaindex.
Almiar	Pitón	Instrumentación automatizada a través del sistema de rastreo de contenido de Haystack.
Litellm	Python, JS/TS (solo proxy)	Use cualquier LLM como una caída de reemplazo para GPT. Use Azure, Openai, Cohere, Anthrope, Ollama, VLLM, Sagemaker, Huggingface, Replicate (más de 100 LLM).
VERCEL AI SDK	JS/TS	TypeScript Toolkit diseñado para ayudar a los desarrolladores a construir aplicaciones con AI con React, Next.js, Vue, Svelte, Node.js.
API		Llame directamente a la API pública. Especificación de OpenApi disponible.

Paquetes integrados con Langfuse:

Nombre	Descripción
Instructor	Biblioteca para obtener salidas LLM estructuradas (JSON, Pydantic)
Diferente	Open Source LLM App Development Platform con Builder sin código.
Ollama	Ejecute fácilmente LLM de código abierto en su propia máquina.
Mirascope	Python Toolkit para aplicaciones LLM de construcción.
Flotar	JS/TS No-Code Builder para flujos LLM personalizados.
Flujo de lang	UI basada en Python para Langchain, diseñada con React-Flow para proporcionar una forma fácil de experimentar y prototipos de flujos.

Preguntas y comentarios

Ideas y hojas de ruta

• Hoja de ruta
• Discusiones de Github
• Solicitudes de funciones

Apoyo y retroalimentación

En orden de preferencia, la mejor manera de comunicarse con nosotros:

• Discusiones de Github (preferido): contribuya con ideas, solicitudes de soporte e errores de informes
• Discord: apoyo comunitario
• En privado: contactar en Langfuse Dot com

Contribuyendo a langfuse

• Votar sobre ideas
• Plantear y comentar los problemas
• Abra un PR - Ver contribuyente.md para obtener detalles sobre cómo configurar un entorno de desarrollo.

Licencia

Este repositorio tiene licencia MIT, excepto las carpetas ee . Vea la licencia y los documentos para obtener más detalles.

Maga

Obtenga API para exportar sus datos

Obtenga rutas para usar datos en aplicaciones posteriores (por ejemplo, análisis integrado). También puede acceder a ellos convenientemente a través de los SDK (documentos).

Seguridad y privacidad

Tomamos en serio la seguridad de los datos y la privacidad. Consulte nuestra página de seguridad y privacidad para obtener más información.

Telemetría

Por defecto, Langfuse informa automáticamente las estadísticas básicas de uso de instancias autohospedadas a un servidor centralizado (posthog).

Esto nos ayuda a:

1. Comprenda cómo se usa Langfuse y mejore las características más relevantes.
2. Realice el uso general de los informes internos y externos (por ejemplo, recaudación de fondos).

Ninguno de los datos se comparte con terceros y no incluye ninguna información confidencial. Queremos ser súper transparentes sobre esto y puede encontrar los datos exactos que recopilamos aquí.

Puede optar por configurar TELEMETRY_ENABLED=false .

Historia de la estrella