langkit

Langkit

Langkit ist ein Open-Source-Textmetriken-Toolkit zur Überwachung von Sprachmodellen. Es bietet eine Reihe von Methoden zum Extrahieren relevanter Signale aus Eingabe- und/oder Ausgabetext, die mit der Open-Source-Datenprotokollierungsbibliothek der Daten ausgewiesen sind.

Möchten Sie Langkit erleben? Gehen Sie zu diesem Notizbuch!

Inhaltsverzeichnis

• Motivation
• Merkmale
• Installation
• Verwendung
• Module

Motivation

Produktionssprachmodelle, einschließlich LLMs, sind aufgrund der unendlichen Menge an Eingangskombinationen mit einer Reihe von Risiken ausgestattet, die eine unendliche Menge an Ausgaben hervorrufen können. Die unstrukturierte Natur des Textes stellt eine Herausforderung im ML -Beobachtbarkeitsraum dar - eine Herausforderung, die es wert ist, gelöst zu werden, da die mangelnde Sichtbarkeit des Modells des Modells schwerwiegende Konsequenzen haben kann.

Merkmale

Zu den von den Box -Metriken gehören:

• Textqualität
  • Lesbarkeitsbewertung
  • Komplexität und Notenzahlen
• Textrelevanz
  • Ähnlichkeitswerte zwischen Eingabeaufforderung/Antworten
  • Ähnlichkeitswerte gegen benutzerdefinierte Themen
• Sicherheit und Privatsphäre
  • Muster - Anzahl der Zeichenfolgen, die mit einer benutzerdefinierten Regex -Mustergruppe übereinstimmen
  • Jailbreaks - Ähnlichkeitswerte in Bezug auf bekannte Jailbreak -Versuche
  • prompt Injektion - Ähnlichkeitswerte in Bezug auf bekannte schnelle Injektionsangriffe
  • Halluzinationen - Konsistenzprüfung zwischen den Antworten
  • Ablehnungen - Ähnlichkeitswerte in Bezug auf bekannte LLM -Ablehnung von Serviceantworten
• Gefühl und Toxizität
  • Stimmungsanalyse
  • Toxizitätsanalyse

Installation

Um Langkit zu installieren, verwenden Sie den Python Package Index (PYPI) wie folgt:

 pip install langkit[all]

Verwendung

Langkit -Module enthalten UDFs, die automatisch in die Sammlung von UDFs für Zeichenfolgenfunktionen, die standardmäßig von Whylogs bereitgestellt werden, automatisch verdrehen. Alles, was wir tun müssen, ist die Langkit -Module zu importieren und dann ein benutzerdefiniertes Schema zu instanziieren, wie im folgenden Beispiel gezeigt.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

Der obige Code erzeugt eine Reihe von Kennzahlen, die aus den Standard -Metriken von WHYLOGS für Textmerkmale und alle in den importierten Modulen definierten Metriken bestehen. Dieses Profil kann in der WhyLabs -Plattform visualisiert und überwacht werden oder sie können vom Benutzer von sich aus weiter analysiert werden.

Weitere Beispiele finden Sie hier.

Module?

Hier können Sie weitere Informationen zu den verschiedenen Modulen und ihren Metriken haben.

Benchmarks

AWS -Instanztyp	Metrikmodul	Durchsatz
C5.xlarge	Leichte Metriken	2335 Chats/Sek
	LLM -Metriken	8.2 Chats/Sek
	Alle Metriken	0,28 Chats/Sek
g4dn.xlarge	Leichte Metriken	2492 Chats/Sek
	LLM -Metriken	23.3 Chats/Sek
	Alle Metriken	1.79 Chats/Sek

Häufig gestellte Fragen

Sie können einige häufig gestellte Fragen in unserem FAQs -Abschnitt überprüfen