llmsharp tokenizers 다운로드 llmsharp tokenizers 소스 코드 다운로드

llmsharp tokenizers

기타 소스코드

v2.0.3

다운로드

llmsharp 토큰 화제

llmsharp.anthropic.tokenizer : dotnet에서 인위적 클로드를위한 토큰 화기의 비공식 구현. Claude Tokenizer를 사용하여 인코딩하기 위해이 Nuget 패키지를 설치하십시오.
llmsharp.openai.tokenizer : Dotnet의 GPT-3.5/GPT-4 모델에 대한 토큰 화제의 비공식 구현. GPT 채팅 완료 모델 토큰 화기를 사용하여 인코딩하기 위해이 너겟 패키지를 설치하십시오.

용법

최신 버전의 Nuget 패키지를 설치하십시오

 dotnet add package LLMSharp.Anthropic.Tokenizer

dotnet add package LLMSharp.OpenAi.Tokenizer

토큰 화기의 인스턴스를 만듭니다

 // Claude Tokenizer
using LLMSharp . Anthropic . Tokenizer ;

var tokenizer = new ClaudeTokenizer ( ) ;


// OpenAi ChatCompletion Models Tokenizer
using LLMSharp . OpenAi . Tokenizer ;

var tokenizer = new OpenAiChatCompletionsTokenizer ( ) ;

인코딩 : 주어진 텍스트를 토큰 화하면 텍스트에 특수 토큰이 포함 된 경우 예외를 던지는 기본 구현입니다.

 var encodedTokens = tokenizer . Encode ( " hello world " ) ;

COUNTTOKENS : 주어진 텍스트에서 토큰 수가 텍스트에 특수 토큰이 포함되어있는 경우 예외를 던지는 기본 구현입니다.

 var tokenCount = tokenizer . CountTokens ( " hello world " ) ;

ancodewithspecialtokens : 모든 또는 특정 특수 토큰을 포함하여 주어진 텍스트를 토큰 화합니다.

 // passing 'null' for allowedSpecial , will help tokenize all special tokens
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : null ,
    disallowedSpecial : null ) ;


// passing an array of strings for allowedSpecial , will help tokenize only those special tokens
// any other special tokens found in the text will throw an exception
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

CountwithSpecialTokens : 모든 또는 특정 특수 토큰을 포함하여 주어진 텍스트의 토큰 수

 var tokenCount = tokenizer . CountWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

벤치 마크

4200 개의 토큰 (~ 16kb)의 인코딩 및 카운트 토크

리눅스


BenchmarkDotNet v0.13.7, Ubuntu 22.04.3 LTS (Jammy Jellyfish)
Intel Xeon Platinum 8370C CPU 2.80GHz, 1 CPU, 1 logical core and 1 physical core
.NET SDK 7.0.110
  [Host]   : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36801), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2

방법	직업	실행 시간	StringToenCode	평균
OpenaichatCompletionStokenizeNocode	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1.328ms
OpenaichatCompletionStokenizeNocode	.NET 7.0	.NET 7.0	con (...) e. n [16926]	1.239ms

OpenaichatCompletionStokenizerCountTokens	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1.274 ms
OpenaichatCompletionStokenizerCountTokens	.NET 7.0	.NET 7.0	con (...) e. n [16926]	1.142ms

claudetokenizerencode	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1.343 MS
claudetokenizerencode	.NET 7.0	.NET 7.0	con (...) e. n [16926]	1.188ms

claudetokenizercounttokens	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1.270ms
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con (...) e. n [16926]	1.160ms

마코스


BenchmarkDotNet v0.13.7, macOS Ventura 13.4.1 (c) (22F770820d) [Darwin 22.5.0]
Apple M2, 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.304
  [Host]   : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), Arm64 RyuJIT AdvSIMD
  .NET 7.0 : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD

방법	직업	실행 시간	StringToenCode	평균
OpenaichatCompletionStokenizeNocode	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1,133.5 μs
OpenaichatCompletionStokenizeNocode	.NET 7.0	.NET 7.0	con (...) e. n [16926]	738.2 μs

OpenaichatCompletionStokenizerCountTokens	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1,071.3 μs
OpenaichatCompletionStokenizerCountTokens	.NET 7.0	.NET 7.0	con (...) e. n [16926]	709.5 μs

claudetokenizerencode	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1,186.3 μs
claudetokenizerencode	.NET 7.0	.NET 7.0	con (...) e. n [16926]	703.5 μs

claudetokenizercounttokens	.NET 6.0	.NET 6.0	con (...) e. n [16926]	1,143.9 μs
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con (...) e. n [16926]	711.3 μs

창


BenchmarkDotNet v0.13.7, Windows 11 (10.0.22621.2134/22H2/2022Update/SunValley2)
Intel Core i7-9700K CPU 3.60GHz (Coffee Lake), 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.400
  [Host]   : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2

방법	직업	실행 시간	StringToenCode	평균
OpenaichatCompletionStokenizeNocode	.NET 6.0	.NET 6.0	con (...). r n [17157]	1.270ms
OpenaichatCompletionStokenizeNocode	.NET 7.0	.NET 7.0	con (...). r n [17157]	1.226ms

OpenaichatCompletionStokenizerCountTokens	.NET 6.0	.NET 6.0	con (...). r n [17157]	1.212ms
OpenaichatCompletionStokenizerCountTokens	.NET 7.0	.NET 7.0	con (...). r n [17157]	1.138ms

claudetokenizerencode	.NET 6.0	.NET 6.0	con (...). r n [17157]	1.266 ms
claudetokenizerencode	.NET 7.0	.NET 7.0	con (...). r n [17157]	1.174 ms

claudetokenizercounttokens	.NET 6.0	.NET 6.0	con (...). r n [17157]	1.242ms
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con (...). r n [17157]	1.156ms