langkit

Langkit

Langkit是一種用於監視語言模型的開源文本指標工具包。它提供了一系列方法，用於從輸入和/或輸出文本中提取相關信號，這些信號與開源數據記錄庫Whylogs兼容。

想體驗蘭基特嗎？轉到此筆記本！

目錄

• 動機
• 特徵
• 安裝
• 用法
• 模塊

動機

包括LLM在內的生產語言模型由於無限量的輸入組合帶來了一系列風險，這可能會引起無限量的產出。文本的非結構化本質在ML可觀察性空間中構成了挑戰 - 值得解決的挑戰，因為對模型行為的缺乏可見性可能會帶來嚴重的後果。

特徵

開箱即用的指標包括：

• 文字質量
  • 可讀性得分
  • 複雜性和成績分數
• 文字相關性
  • 提示/響應之間的相似性得分
  • 相似性與用戶定義的主題分數
• 安全和隱私
  • 模式 - 符合用戶定義的正則表達式模式組的字符串計數
  • 越獄 - 關於已知越獄嘗試的相似性得分
  • 及時注入 - 相似性得分與已知的快速注射攻擊
  • 幻覺 - 響應之間的一致性檢查
  • 拒絕 - 相似性得分相對於已知的LLM拒絕服務響應
• 情感和毒性
  • 情感分析
  • 毒性分析

安裝

要安裝Langkit，請使用以下方式使用Python軟件包索引（PYPI）：

 pip install langkit[all]

用法

langkit模塊包含UDF，這些UDF會自動將Whylogs提供的字符串功能的UDF集合中連接到UDF集合中。我們要做的就是導入Langkit模塊，然後實例化自定義模式，如下示例所示。

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

上面的代碼將產生一組由文本功能的默認WhyLogs指標和導入模塊中定義的所有指標組成的指標。可以在WhyLabs平台中可視化和監視此配置文件，也可以由用戶自行對其進行進一步分析。

這裡提供更多示例。

模塊？

您可以在此處獲得有關不同模塊及其指標的更多信息。

基準

AWS實例類型	公制模塊	吞吐量
c5.xlarge	輕度指標	2335聊天/秒
	LLM指標	8.2聊天/秒
	所有指標	0.28聊天/秒
g4dn.xlarge	輕度指標	2492聊天/秒
	LLM指標	23.3聊天/秒
	所有指標	1.79聊天/秒

常見問題

您可以在我們的常見問題解答中查看一些常見問題