langkit

Langkit

Langkit是一种用于监视语言模型的开源文本指标工具包。它提供了一系列方法，用于从输入和/或输出文本中提取相关信号，这些信号与开源数据记录库Whylogs兼容。

想体验兰基特吗？转到此笔记本！

目录

• 动机
• 特征
• 安装
• 用法
• 模块

动机

包括LLM在内的生产语言模型由于无限量的输入组合带来了一系列风险，这可能会引起无限量的产出。文本的非结构化本质在ML可观察性空间中构成了挑战 - 值得解决的挑战，因为对模型行为的缺乏可见性可能会带来严重的后果。

特征

开箱即用的指标包括：

• 文字质量
  • 可读性得分
  • 复杂性和成绩分数
• 文字相关性
  • 提示/响应之间的相似性得分
  • 相似性与用户定义的主题分数
• 安全和隐私
  • 模式 - 符合用户定义的正则表达式模式组的字符串计数
  • 越狱 - 关于已知越狱尝试的相似性得分
  • 及时注入 - 相似性得分与已知的快速注射攻击
  • 幻觉 - 响应之间的一致性检查
  • 拒绝 - 相似性得分相对于已知的LLM拒绝服务响应
• 情感和毒性
  • 情感分析
  • 毒性分析

安装

要安装Langkit，请使用以下方式使用Python软件包索引（PYPI）：

 pip install langkit[all]

用法

langkit模块包含UDF，这些UDF会自动将Whylogs提供的字符串功能的UDF集合中连接到UDF集合中。我们要做的就是导入Langkit模块，然后实例化自定义模式，如下示例所示。

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

上面的代码将产生一组由文本功能的默认WhyLogs指标和导入模块中定义的所有指标组成的指标。可以在WhyLabs平台中可视化和监视此配置文件，也可以由用户自行对其进行进一步分析。

这里提供更多示例。

模块？

您可以在此处获得有关不同模块及其指标的更多信息。

基准

AWS实例类型	公制模块	吞吐量
c5.xlarge	轻度指标	2335聊天/秒
	LLM指标	8.2聊天/秒
	所有指标	0.28聊天/秒
g4dn.xlarge	轻度指标	2492聊天/秒
	LLM指标	23.3聊天/秒
	所有指标	1.79聊天/秒

常见问题

您可以在我们的常见问题解答中查看一些常见问题