langkit

Langage

Langkit est une boîte à outils de métriques de texte open source pour surveiller les modèles de langage. Il propose une gamme de méthodes pour extraire des signaux pertinents du texte d'entrée et / ou de sortie, qui sont compatibles avec la bibliothèque de journalisation des données open source.

Vous voulez vivre Langkit? Allez sur ce cahier!

Table des matières

• Motivation
• Caractéristiques
• Installation
• Usage
• Modules

Motivation

Les modèles de langage de production, y compris les LLM, sont livrés avec une gamme de risques en raison de la quantité infinie de combinaisons d'entrée, ce qui peut provoquer une quantité infinie de sorties. La nature non structurée du texte pose un défi dans l'espace d'observabilité ML - un défi qui mérite d'être résolu, car le manque de visibilité sur le comportement du modèle peut avoir de graves conséquences.

Caractéristiques

Les mesures hors de la boîte incluent:

• Qualité du texte
  • score de lisibilité
  • complexité et scores de qualité
• Pertinence du texte
  • Scores de similitude entre les invites / les réponses
  • Scores de similitude contre les thèmes définis par l'utilisateur
• Sécurité et confidentialité
  • Modèles - Compte de chaînes correspondant à un groupe de motifs regex défini par l'utilisateur
  • jailbreaks - Scores de similitude concernant les tentatives connues de jailbreak
  • Injection rapide - scores de similitude en ce qui concerne les attaques d'injection rapides connues
  • Hallucinations - Vérification de la cohérence entre les réponses
  • refus - scores de similitude en ce qui concerne le refus de la LLM connu des réponses de service
• Sentiment et toxicité
  • analyse des sentiments
  • analyse de toxicité

Installation

Pour installer Langkit, utilisez l'index de package Python (PYPI) comme suit:

 pip install langkit[all]

Usage

Les modules Langkit contiennent des UDF qui se transmettent automatiquement dans la collection d'UDFS sur les fonctionnalités de chaîne fournies par WhyLogs par défaut. Tout ce que nous avons à faire est d'importer les modules Langkit, puis d'instancier un schéma personnalisé comme indiqué dans l'exemple ci-dessous.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

Le code ci-dessus produira un ensemble de mesures composées des métriques WhyLogs par défaut pour les fonctionnalités de texte et toutes les mesures définies dans les modules importés. Ce profil peut être visualisé et surveillé dans la plate-forme WhyLabs ou peut être analysé plus avant par l'utilisateur de leur propre gré.

Plus d'exemples sont disponibles ici.

Modules?

Vous pouvez avoir plus d'informations sur les différents modules et leurs mesures ici.

Repères

Type d'instance AWS	Module métrique	Déborder
C5.xlarge	Métriques légères	2335 chats / sec
	Métriques LLM	8.2 Chats / Sec
	Toutes les mesures	0,28 chats / sec
g4dn.xlarge	Métriques légères	2492 chats / sec
	Métriques LLM	23.3 Chats / Sec
	Toutes les mesures	1.79 Chats / Sec

Questions fréquemment posées

Vous pouvez vérifier quelques questions fréquemment posées sur notre section FAQS