หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

llmsharp tokenizers

  • llmsharp.anthropic.tokenizer : การใช้ tokenizer อย่างไม่เป็นทางการสำหรับมานุษยวิทยา claude ใน Dotnet ติดตั้งแพ็คเกจ Nuget นี้สำหรับการเข้ารหัสโดยใช้ Claude Tokenizer
  • LLMSHARP.OPENAI.TOKENIZER : การใช้ TOKENIZER อย่างไม่เป็นทางการสำหรับรุ่น GPT-3.5/GPT-4 ใน DOTNET ติดตั้งแพ็คเกจ NUGET นี้สำหรับการเข้ารหัสโดยใช้ GPT CHAT COMPLIENT MODEL TOKENIZER

การใช้งาน

  • ติดตั้งแพ็คเกจ NuGet เวอร์ชันล่าสุด 
 dotnet add package LLMSharp.Anthropic.Tokenizer

dotnet add package LLMSharp.OpenAi.Tokenizer
  • สร้างอินสแตนซ์ของ tokenizer 
 // Claude Tokenizer
using LLMSharp . Anthropic . Tokenizer ;

var tokenizer = new ClaudeTokenizer ( ) ;


// OpenAi ChatCompletion Models Tokenizer
using LLMSharp . OpenAi . Tokenizer ;

var tokenizer = new OpenAiChatCompletionsTokenizer ( ) ;
  • เข้ารหัส : tokenizes ข้อความที่กำหนดนี่คือการใช้งานเริ่มต้นที่โยนข้อยกเว้นหากข้อความมีโทเค็นพิเศษใด ๆ 
 var encodedTokens = tokenizer . Encode ( " hello world " ) ;
  • Counttokens : นับโทเค็นในข้อความที่กำหนดนี่คือการใช้งานเริ่มต้นที่มีข้อยกเว้นหากข้อความมีโทเค็นพิเศษใด ๆ 
 var tokenCount = tokenizer . CountTokens ( " hello world " ) ;
  • ENCODEWITHSPECIALTOKENS : โทเค็นข้อความที่กำหนดรวมถึงโทเค็นพิเศษทั้งหมดหรือเฉพาะเจาะจง 
 // passing 'null' for allowedSpecial , will help tokenize all special tokens
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : null ,
    disallowedSpecial : null ) ;


// passing an array of strings for allowedSpecial , will help tokenize only those special tokens
// any other special tokens found in the text will throw an exception
var encodedBytes = tokenizer . EncodeWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;
  • CountWithSpecialTokens : นับโทเค็นในข้อความที่กำหนดรวมถึงโทเค็นพิเศษทั้งหมดหรือเฉพาะเจาะจง 
 var tokenCount = tokenizer . CountWithSpecialTokens (
    text : " <META_START>some data<META_END> " ,
    allowedSpecial : new string [ ] { " <META_START> " , " <META_END> " } ,
    disallowedSpecial : null ) ;

เกณฑ์มาตรฐาน

การเข้ารหัสและการนับสำหรับ 4200 โทเค็น (~ 16 kb) ของข้อความ

ลินเวกซ์ 


BenchmarkDotNet v0.13.7, Ubuntu 22.04.3 LTS (Jammy Jellyfish)
Intel Xeon Platinum 8370C CPU 2.80GHz, 1 CPU, 1 logical core and 1 physical core
.NET SDK 7.0.110
  [Host]   : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36801), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36801), X64 RyuJIT AVX2
วิธี งาน รันไทม์ Stringtoencode หมายถึง
OpenAichatcompletionStokenIzerencode .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1.328 ms
OpenAichatcompletionStokenIzerencode .NET 7.0 .NET 7.0 con (... ) e. n [16926] 1.239 ms
openaichatcompletionstokenizercounttokens .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1.274 ms
openaichatcompletionstokenizercounttokens .NET 7.0 .NET 7.0 con (... ) e. n [16926] 1.142 ms
Claudetokenizerencode .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1.343 ms
Claudetokenizerencode .NET 7.0 .NET 7.0 con (... ) e. n [16926] 1.188 ms
claudetokenizercounttokens .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1.270 ms
claudetokenizercounttokens .NET 7.0 .NET 7.0 con (... ) e. n [16926] 1.160 ms

แม็กอส 


BenchmarkDotNet v0.13.7, macOS Ventura 13.4.1 (c) (22F770820d) [Darwin 22.5.0]
Apple M2, 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.304
  [Host]   : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), Arm64 RyuJIT AdvSIMD
  .NET 7.0 : .NET 7.0.7 (7.0.723.27404), Arm64 RyuJIT AdvSIMD
วิธี งาน รันไทม์ Stringtoencode หมายถึง
OpenAichatcompletionStokenIzerencode .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1,133.5 μs
OpenAichatcompletionStokenIzerencode .NET 7.0 .NET 7.0 con (... ) e. n [16926] 738.2 μs
openaichatcompletionstokenizercounttokens .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1,071.3 μs
openaichatcompletionstokenizercounttokens .NET 7.0 .NET 7.0 con (... ) e. n [16926] 709.5 μs
Claudetokenizerencode .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1,186.3 μs
Claudetokenizerencode .NET 7.0 .NET 7.0 con (... ) e. n [16926] 703.5 μs
claudetokenizercounttokens .NET 6.0 .NET 6.0 con (... ) e. n [16926] 1,143.9 μs
claudetokenizercounttokens .NET 7.0 .NET 7.0 con (... ) e. n [16926] 711.3 μs

หน้าต่าง 


BenchmarkDotNet v0.13.7, Windows 11 (10.0.22621.2134/22H2/2022Update/SunValley2)
Intel Core i7-9700K CPU 3.60GHz (Coffee Lake), 1 CPU, 8 logical and 8 physical cores
.NET SDK 7.0.400
  [Host]   : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2
  .NET 6.0 : .NET 6.0.21 (6.0.2123.36311), X64 RyuJIT AVX2
  .NET 7.0 : .NET 7.0.10 (7.0.1023.36312), X64 RyuJIT AVX2
วิธี งาน รันไทม์ Stringtoencode หมายถึง
OpenAichatcompletionStokenIzerencode .NET 6.0 .NET 6.0 con (... ). r n [17157] 1.270 ms
OpenAichatcompletionStokenIzerencode .NET 7.0 .NET 7.0 con (... ). r n [17157] 1.226 ms
openaichatcompletionstokenizercounttokens .NET 6.0 .NET 6.0 con (... ). r n [17157] 1.212 ms
openaichatcompletionstokenizercounttokens .NET 7.0 .NET 7.0 con (... ). r n [17157] 1.138 ms
Claudetokenizerencode .NET 6.0 .NET 6.0 con (... ). r n [17157] 1.266 ms
Claudetokenizerencode .NET 7.0 .NET 7.0 con (... ). r n [17157] 1.174 ms
claudetokenizercounttokens .NET 6.0 .NET 6.0 con (... ). r n [17157] 1.242 ms
claudetokenizercounttokens .NET 7.0 .NET 7.0 con (... ). r n [17157] 1.156 ms
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด