langkitダウンロードlangkitソースコードのダウンロード

langkit

その他のソースコード

v0.0.35

ダウンロード

ラングキット

Langkitグラフィック

Langkitは、言語モデルを監視するためのオープンソーステキストメトリックツールキットです。入力および/または出力テキストから関連する信号を抽出するためのさまざまな方法を提供します。

ラングキットを体験したいですか？このノートブックに移動してください！

モチベーション

LLMSを含む言語モデルの生産には、無限の量の出力を誘発する可能性のある入力の組み合わせが無限にあるため、さまざまなリスクがあります。テキストの非構造化された性質は、MLの観測可能性空間で課題をもたらします - モデルの動作に対する可視性の欠如が深刻な結果をもたらす可能性があるため、解決する価値のある課題です。

特徴

ボックスから外れたメトリックは次のとおりです。

テキスト品質
- 読みやすさのスコア
- 複雑さと成績のスコア
テキスト関連性
- プロンプト/応答間の類似性スコア
- ユーザー定義のテーマに対する類似性スコア
セキュリティとプライバシー
- パターン - ユーザー定義の正規表現パターングループに一致する文字列のカウント
- 脱獄 - 既知の脱獄の試みに関する類似性スコア
- 迅速な噴射 - 既知の迅速な噴射攻撃に関する類似性スコア
- 幻覚 - 応答間の一貫性チェック
- 拒否 - 既知のLLM拒否に関するサービス応答に関する類似性スコア
感情と毒性
- 感情分析
- 毒性分析

インストール

Langkitをインストールするには、次のようにPythonパッケージインデックス（PYPI）を使用します。

 pip install langkit[all]

使用法

Langkitモジュールには、デフォルトでWhylogsが提供する文字列機能でUDFのコレクションに自動的に配線するUDFが含まれています。私たちがしなければならないのは、以下の例に示すように、Langkitモジュールをインポートしてから、カスタムスキーマをインスタンス化することです。

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

上記のコードは、テキスト機能のデフォルトのWhyLogsメトリックとインポートされたモジュールで定義されているすべてのメトリックで構成される一連のメトリックを作成します。このプロファイルは、WhyLabsプラットフォームで視覚化および監視することができます。または、ユーザーが独自の協定でさらに分析することもできます。

この例はこちらでご覧いただけます。

モジュール？

ここでは、さまざまなモジュールとそのメトリックに関する詳細情報を入手できます。

ベンチマーク

AWSインスタンスタイプ	メトリックモジュール	スループット
c5.xlarge	光メトリック	2335チャット/秒
	LLMメトリック	8.2チャット/秒
	すべてのメトリック	0.28チャット/秒
g4dn.xlarge	光メトリック	2492チャット/秒
	LLMメトリック	23.3チャット/秒
	すべてのメトリック	1.79チャット/秒