langkit

Langkit

O Langkit é um kit de ferramentas de métricas de texto de código aberto para monitorar modelos de linguagem. Ele oferece uma variedade de métodos para extrair sinais relevantes do texto de entrada e/ou saída, que são compatíveis com a biblioteca de log de dados de código aberto WhyLogs.

Quer experimentar o Langkit? Vá para este caderno!

Índice

• Motivação
• Características
• Instalação
• Uso
• Módulos

Motivação

Os modelos de linguagem de produção, incluindo LLMs, vem com uma série de riscos devido à quantidade infinita de combinações de entrada, o que pode provocar uma quantidade infinita de saídas. A natureza não estruturada do texto representa um desafio no espaço de observabilidade da ML - um desafio que vale a pena resolver, uma vez que a falta de visibilidade no comportamento do modelo pode ter sérias conseqüências.

Características

As métricas de fora da caixa incluem:

• Qualidade do texto
  • Pontuação de legibilidade
  • complexidade e pontuações de grau
• Relevância do texto
  • Pontuações de similaridade entre solicitação/respostas
  • Pontuações de similaridade contra temas definidos pelo usuário
• Segurança e privacidade
  • Padrões - Contagem de cordas que correspondem a um grupo de padrões regex definido pelo usuário
  • Jailbreaks - pontuações de similaridade em relação às tentativas conhecidas de jailbreak
  • injeção imediata - pontuações de similaridade em relação aos ataques de injeção pronta conhecidos
  • Alucinações - Verificação de consistência entre respostas
  • RECUSAS - Pontuações de similaridade em relação à recusa conhecida de LLM de respostas de serviço
• Sentimento e toxicidade
  • Análise de sentimentos
  • Análise de toxicidade

Instalação

Para instalar o Langkit, use o Python Package Index (PYPI) da seguinte forma:

 pip install langkit[all]

Uso

Os módulos Langkit contêm UDFs que se conectam automaticamente na coleção de UDFs nos recursos de string fornecidos pelos WhyLogs por padrão. Tudo o que precisamos fazer é importar os módulos Langkit e, em seguida, instanciar um esquema personalizado, como mostrado no exemplo abaixo.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

O código acima produzirá um conjunto de métricas compostas pelas métricas de WhyLogs padrão para recursos de texto e todas as métricas definidas nos módulos importados. Esse perfil pode ser visualizado e monitorado na plataforma Whylabs ou pode ser analisado pelo usuário por conta própria.

Mais exemplos estão disponíveis aqui.

Módulos?

Você pode ter mais informações sobre os diferentes módulos e suas métricas aqui.

Benchmarks

Tipo de instância da AWS	Módulo métrico	Taxa de transferência
C5.xlarge	Métricas leves	2335 bate -papos/seg
	Métricas LLM	8.2 Chats/Sec
	Todas as métricas	0,28 Chats/Sec
g4dn.xlarge	Métricas leves	2492 Chats/Sec
	Métricas LLM	23.3 Bats/Sec
	Todas as métricas	1.79 Chats/Sec

Perguntas frequentes

Você pode verificar algumas perguntas frequentes em nossa seção Perguntas frequentes