llmsharp tokenizers Download - llmsharp tokenizers Quellcode Download

llmsharp tokenizers

Anderer Quellcode

v2.0.3

Herunterladen

LLMSHARP -Tokenizer

Llmsharp.anthropic.tokenizer : Inoffizielle Implementierung von Tokenizer für anthropische Claude in Dotnet. Installieren Sie dieses Nuget -Paket zum Codieren mit Claude -Tokenizer.
Llmsharp.openai.Tokenizer : Inoffizielle Implementierung von Tokenizer für GPT-3.5/GPT-4-Modelle in Dotnet. Installieren Sie dieses Nuget -Paket für die Codierung mit dem Modell -Tokenizer von GPT -Chat -Vervollständigungen.

Verwendung

Installieren Sie die neueste Version des Nuget -Pakets

 dotnet add package LLMSharp.Anthropic.Tokenizer

dotnet add package LLMSharp.OpenAi.Tokenizer

Erstellen Sie eine Instanz des Tokenizers

 // Claude Tokenizer
using LLMSharp . Anthropic . Tokenizer ;

var tokenizer = new ClaudeTokenizer ( ) ;


// OpenAi ChatCompletion Models Tokenizer
using LLMSharp . OpenAi . Tokenizer ;

var tokenizer = new OpenAiChatCompletionsTokenizer ( ) ;

CODE : Tokenizes einen bestimmten Text. Dies ist die Standardimplementierung, die eine Ausnahme ausgelöst hat

 var encodedTokens = tokenizer . Encode ( " hello world " ) ;

COUNTTOKENS : Zählen Sie Token in einem bestimmten Text. Dies ist die Standardimplementierung, die eine Ausnahme ausgelöst hat, wenn der Text spezielle Token enthält

 var tokenCount = tokenizer . CountTokens ( " hello world " ) ;

CODEWITHSPECIALTOKENS : tokenisiert einen bestimmten Text, einschließlich aller oder spezifischen Spezial -Token

 // passing 'null' for allowedSpecial , will help tokenize all special tokens
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : null ,
    disallowedSpecial : null ) ;


// passing an array of strings for allowedSpecial , will help tokenize only those special tokens
// any other special tokens found in the text will throw an exception
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

CountWithSpecialtokens : Zählen Sie Token in einem bestimmten Text, einschließlich aller oder spezifischen Spezial -Token

 var tokenCount = tokenizer . CountWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

Benchmarks

Codierung und Grafschaften für 4200 Token (~ 16 kb) Text

Linux


BenchmarkDotNet v0.13.7, Ubuntu 22.04.3 LTS (Jammy Jellyfish)
Intel Xeon Platinum 8370C CPU 2.80GHz, 1 CPU, 1 logical core and 1 physical core
.NET SDK 7.0.110
  [Host]   : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36801), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2

Verfahren	Arbeit	Laufzeit	StringTocode	Bedeuten
OpenaichatCompletionStokenizerEncode	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,328 ms
OpenaichatCompletionStokenizerEncode	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	1,239 ms

OpenaichatCompletionStokenIZerCountTokens	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,274 ms
OpenaichatCompletionStokenIZerCountTokens	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	1,142 ms

ClaudTokenizerEncode	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,343 ms
ClaudTokenizerEncode	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	1,188 ms

ClaudetokenizerCountTokens	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,270 ms
ClaudetokenizerCountTokens	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	1,160 ms

macos


BenchmarkDotNet v0.13.7, macOS Ventura 13.4.1 (c) (22F770820d) [Darwin 22.5.0]
Apple M2, 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.304
  [Host]   : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), Arm64 RyuJIT AdvSIMD
  .NET 7.0 : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD

Verfahren	Arbeit	Laufzeit	StringTocode	Bedeuten
OpenaichatCompletionStokenizerEncode	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,133,5 μs
OpenaichatCompletionStokenizerEncode	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	738,2 μs

OpenaichatCompletionStokenIZerCountTokens	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1.071,3 μs
OpenaichatCompletionStokenIZerCountTokens	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	709,5 μs

ClaudTokenizerEncode	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1.186,3 μs
ClaudTokenizerEncode	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	703,5 μs

ClaudetokenizerCountTokens	.NET 6.0	.NET 6.0	Con (...) e. N [16926]	1,143,9 μs
ClaudetokenizerCountTokens	.NET 7.0	.NET 7.0	Con (...) e. N [16926]	711,3 μs

Fenster


BenchmarkDotNet v0.13.7, Windows 11 (10.0.22621.2134/22H2/2022Update/SunValley2)
Intel Core i7-9700K CPU 3.60GHz (Coffee Lake), 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.400
  [Host]   : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2

Verfahren	Arbeit	Laufzeit	StringTocode	Bedeuten
OpenaichatCompletionStokenizerEncode	.NET 6.0	.NET 6.0	Con (...). R n [17157]	1,270 ms
OpenaichatCompletionStokenizerEncode	.NET 7.0	.NET 7.0	Con (...). R n [17157]	1,226 ms

OpenaichatCompletionStokenIZerCountTokens	.NET 6.0	.NET 6.0	Con (...). R n [17157]	1,212 ms
OpenaichatCompletionStokenIZerCountTokens	.NET 7.0	.NET 7.0	Con (...). R n [17157]	1,138 ms

ClaudTokenizerEncode	.NET 6.0	.NET 6.0	Con (...). R n [17157]	1,266 ms
ClaudTokenizerEncode	.NET 7.0	.NET 7.0	Con (...). R n [17157]	1,174 ms

ClaudetokenizerCountTokens	.NET 6.0	.NET 6.0	Con (...). R n [17157]	1,242 ms
ClaudetokenizerCountTokens	.NET 7.0	.NET 7.0	Con (...). R n [17157]	1,156 ms