langkit

랑키

Langkit은 언어 모델 모니터링을위한 오픈 소스 텍스트 메트릭 툴킷입니다. Open-Source Data Logging Library WhyLogs와 호환되는 입력 및/또는 출력 텍스트에서 관련 신호를 추출하기위한 다양한 방법을 제공합니다.

Langkit을 경험하고 싶습니까? 이 노트북으로 가십시오!

목차

• 동기 부여
• 특징
• 설치
• 용법
• 모듈

동기 부여

LLM을 포함한 언어 모델을 제작하는 것은 무한한 양의 입력 조합으로 인해 다양한 위험이 있으며, 이는 무한한 양의 출력을 이끌어 낼 수 있습니다. 텍스트의 구조화되지 않은 특성은 ML 관측 가능성 공간에서 도전을 제기합니다. 모델의 행동에 대한 가시성 부족이 심각한 결과를 초래할 수 있기 때문에 해결할 가치가 있습니다.

특징

상자가없는 메트릭에는 다음이 포함됩니다.

• 텍스트 품질
  • 가독성 점수
  • 복잡성 및 등급 점수
• 텍스트 관련성
  • 프롬프트/응답 사이의 유사성 점수
  • 사용자 정의 테마에 대한 유사성 점수
• 보안 및 개인 정보
  • 패턴 - 사용자 정의 Regex 패턴 그룹과 일치하는 문자열 수
  • 탈옥 - 알려진 탈옥 시도와 관련된 유사점 점수
  • 신속한 주입 - 알려진 신속한 주입 공격과 관련된 유사성 점수
  • 환각 - 응답 사이의 일관성 검사
  • 거부 - 알려진 LLM 서비스 거부와 관련하여 유사성 점수
• 감정과 독성
  • 감정 분석
  • 독성 분석

설치

Langkit을 설치하려면 Python Package Index (PYPI)를 다음과 같이 사용하십시오.

 pip install langkit[all]

용법

Langkit 모듈에는 기본적으로 WhyLogs가 제공하는 문자열 기능에 대한 UDF 모음에 자동으로 연결되는 UDF가 포함되어 있습니다. 우리가해야 할 일은 Langkit 모듈을 가져온 다음 아래 예제와 같이 사용자 정의 스키마를 인스턴스화하기 만하면됩니다.

 import whylogs as why
from langkit import llm_metrics

results = why . log ({ "prompt" : "Hello!" , "response" : "World!" }, schema = llm_metrics . init ())

위의 코드는 텍스트 기능에 대한 기본 WhyLogs 메트릭과 가져온 모듈에 정의 된 모든 메트릭으로 구성된 메트릭 세트를 생성합니다. 이 프로파일은 WhyLabs 플랫폼에서 시각화 및 모니터링 될 수 있거나 사용자가 자체 협정으로 추가로 분석 할 수 있습니다.

더 많은 예제가 여기에서 제공됩니다.

모듈?

다른 모듈과 메트릭에 대한 자세한 정보를 여기에있을 수 있습니다.

벤치 마크

AWS 인스턴스 유형	메트릭 모듈	처리량
c5.xlarge	가벼운 메트릭	2335 채팅/초
	LLM 메트릭	8.2 채팅/초
	모든 메트릭	0.28 채팅/초
g4dn.xlarge	가벼운 메트릭	2492 채팅/초
	LLM 메트릭	23.3 채팅/초
	모든 메트릭	1.79 채팅/초

자주 묻는 질문

FAQ 섹션에서 자주 묻는 질문을 확인할 수 있습니다.