sqlite3 ngram tokenizer

ngram tokenizer for sqlite3 fts5

此令牌化合物在另一個令牌（如Unicode61）（默認值）之後起作用。

例子：

 const sqlite = require ( 'better-sqlite3' ) ;
const tokenizer = require ( 'sqlite3-ngram-tokenizer' ) ;

const db = sqlite ( ':memory:' ) ;
db . loadExtension ( tokenizer . pluginPath ) ; // pluginPath does not contain extension

db . exec ( `
CREATE VIRTUAL TABLE t1 USING fts5(x, tokenize = 'ngram');
` ) ;

它以2 gram的形式將拉丁語單詞示為單詞： "letter" => [l le et tt te er] ，因此它將與"let"但不匹配"etter" 。

對於非latin單詞，它以1克將它們示意。它在非拉丁語單詞上像String.includes()一樣。

您可以指定其他令牌

 -- porter tokenizer also works behind another tokenizer
CREATE VIRTUAL TABLE t1 USING fts5(x, tokenize = ' ngram porter unicode61 remove_diacritics 1 ' );

注意

highlight()可能無法像搬運工的後代背後的預期工作。