langkit
v0.0.35
Langkit es un conjunto de herramientas de métricas de texto de código abierto para monitorear modelos de lenguaje. Ofrece una variedad de métodos para extraer señales relevantes del texto de entrada y/o salida, que son compatibles con la biblioteca de registro de datos de código abierto WhyLogs.
¿Quieres experimentar Langkit? ¡Ve a este cuaderno!
La producción de modelos de lenguaje, incluidos los LLM, viene con una gama de riesgos debido a la cantidad infinita de combinaciones de entrada, que pueden provocar una cantidad infinita de resultados. La naturaleza no estructurada del texto plantea un desafío en el espacio de observabilidad de ML, un desafío que vale la pena resolver, ya que la falta de visibilidad en el comportamiento del modelo puede tener graves consecuencias.
Las métricas fuera de la caja incluyen:
Para instalar Langkit, use el Índice de paquetes de Python (PYPI) de la siguiente manera:
pip install langkit[all]
Los módulos Langkit contienen UDF que se conectan automáticamente en la colección de UDF en las funciones de cadena proporcionadas por WhyLogs de forma predeterminada. Todo lo que tenemos que hacer es importar los módulos Langkit y luego instanciar un esquema personalizado como se muestra en el siguiente ejemplo.
import whylogs as why
from langkit import llm_metrics
results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())El código anterior producirá un conjunto de métricas compuestas por las métricas predeterminadas de WhyLogs para las funciones de texto y todas las métricas definidas en los módulos importados. Este perfil se puede visualizar y monitorear en la plataforma WhyLabs o puede ser analizado por el usuario por su propia cuenta.
Hay más ejemplos disponibles aquí.
Puede tener más información sobre los diferentes módulos y sus métricas aquí.
| Tipo de instancia de AWS | Módulo métrico | Rendimiento |
|---|---|---|
| c5.xlarge | Métricas de luz | 2335 chats/seg |
| Métricas de LLM | 8.2 chats/seg | |
| Todas las métricas | 0.28 chats/seg | |
| g4dn.xlarge | Métricas de luz | 2492 chats/seg |
| Métricas de LLM | 23.3 chats/seg | |
| Todas las métricas | 1.79 chats/seg |
Puede consultar algunas preguntas frecuentes en nuestra sección de preguntas frecuentes.
