llmsharp tokenizers

llmsharp tokenizers

• llmsharp.anththropic.tokenizer ：dotnet中人為克勞德的非正式實施。安裝此Nuget軟件包，用於使用Claude Tokenizer編碼。
• llmsharp.openai.tokenizer ：dotnet中GPT-3.5/gpt-4型號的令牌實現。安裝此Nuget軟件包，用於使用GPT聊天完成模型令牌編碼。

用法

• 安裝最新版本的Nuget軟件包

 dotnet add package LLMSharp.Anthropic.Tokenizer

dotnet add package LLMSharp.OpenAi.Tokenizer

• 創建令牌的實例

 // Claude Tokenizer
using LLMSharp . Anthropic . Tokenizer ;

var tokenizer = new ClaudeTokenizer ( ) ;


// OpenAi ChatCompletion Models Tokenizer
using LLMSharp . OpenAi . Tokenizer ;

var tokenizer = new OpenAiChatCompletionsTokenizer ( ) ;

• 編碼：給定文本，這是默認實現，如果文本包含任何特殊令牌，則會引發異常

 var encodedTokens = tokenizer . Encode ( " hello world " ) ;

• CountTokens ：在給定文本中的計數令牌，這是默認實現，如果文本包含任何特殊令牌，則會引發異常

 var tokenCount = tokenizer . CountTokens ( " hello world " ) ;

• codewithspecialtokens ：給定文本，包括所有或特定的特殊令牌

 // passing 'null' for allowedSpecial , will help tokenize all special tokens
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : null ,
    disallowedSpecial : null ) ;


// passing an array of strings for allowedSpecial , will help tokenize only those special tokens
// any other special tokens found in the text will throw an exception
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

• countwithspecialtokens ：在給定文本中計數令牌，包括全部或特定的特殊令牌

 var tokenCount = tokenizer . CountWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ; 

基準

4200個令牌（〜16 kb）文本的編碼和counttokens

Linux

BenchmarkDotNet v0.13.7, Ubuntu 22.04.3 LTS (Jammy Jellyfish)
Intel Xeon Platinum 8370C CPU 2.80GHz, 1 CPU, 1 logical core and 1 physical core
.NET SDK 7.0.110
  [Host]   : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36801), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2

方法	工作	運行時	StringToEncode	意思是
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1.328 ms
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	1.239毫秒
OpenaichatCompletionstokenizercounttokens	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1.274 ms
OpenaichatCompletionstokenizercounttokens	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	1.142 ms
claudetokenizerencode	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1.343 ms
claudetokenizerencode	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	1.188毫秒
claudetokenizercounttokens	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1.270毫秒
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	1.160毫秒

macos

BenchmarkDotNet v0.13.7, macOS Ventura 13.4.1 (c) (22F770820d) [Darwin 22.5.0]
Apple M2, 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.304
  [Host]   : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), Arm64 RyuJIT AdvSIMD
  .NET 7.0 : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD

方法	工作	運行時	StringToEncode	意思是
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1,133.5μs
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	738.2μs
OpenaichatCompletionstokenizercounttokens	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1,071.3μs
OpenaichatCompletionstokenizercounttokens	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	709.5μs
claudetokenizerencode	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1,186.3μs
claudetokenizerencode	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	703.5μs
claudetokenizercounttokens	.NET 6.0	.NET 6.0	con（...）e。 n [16926]	1,143.9μs
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con（...）e。 n [16926]	711.3μs

視窗

BenchmarkDotNet v0.13.7, Windows 11 (10.0.22621.2134/22H2/2022Update/SunValley2)
Intel Core i7-9700K CPU 3.60GHz (Coffee Lake), 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.400
  [Host]   : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2

方法	工作	運行時	StringToEncode	意思是
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 6.0	.NET 6.0	con（...）。 r n [17157]	1.270毫秒
OpenAICHATCOMPLETIONSTOMENERENENENENCODE	.NET 7.0	.NET 7.0	con（...）。 r n [17157]	1.226毫秒
OpenaichatCompletionstokenizercounttokens	.NET 6.0	.NET 6.0	con（...）。 r n [17157]	1.212 ms
OpenaichatCompletionstokenizercounttokens	.NET 7.0	.NET 7.0	con（...）。 r n [17157]	1.138毫秒
claudetokenizerencode	.NET 6.0	.NET 6.0	con（...）。 r n [17157]	1.266毫秒
claudetokenizerencode	.NET 7.0	.NET 7.0	con（...）。 r n [17157]	1.174 ms
claudetokenizercounttokens	.NET 6.0	.NET 6.0	con（...）。 r n [17157]	1.242 ms
claudetokenizercounttokens	.NET 7.0	.NET 7.0	con（...）。 r n [17157]	1.156毫秒