whatlang rs

whatlang

シンプルさとパフォーマンスに焦点を当てた錆の自然言語検出。

オンラインデモを試してください。

コンテンツ

• 特徴
• 始めましょう
• Whatlangを使用するのは誰ですか？
• ドキュメント
• サポート言語
• 機能の切り替え
• どのように機能しますか？
  • 言語認識はどのように機能しますか？
  • IS_Reliableはどのように計算されますか？
• ベンチマークの実行
• 代替との比較
• ポートとクローン
• 寄付
• 導出
• ライセンス
• 貢献者

特徴

• 69の言語をサポートします
• 錆で100％書かれています
• 軽量で、高速でシンプル
• 言語だけでなく、スクリプト（ラテン語、キリル語など）も認識します
• 信頼性情報を提供します

始めましょう

例：

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

詳細については（例：いくつかの言語をブラックリストに登録する方法）、ドキュメントを確認してください。

Whatlangを使用するのは誰ですか？

Whatlangは、言語認識のための直接的または間接的な依存関係として、次の大きなプロジェクト内で使用されます。あなたはwhatlangを使用して素晴らしい会社に行くつもりです：

• ソニック - 錆の高速、軽量、スキーマレス検索バックエンド。
• Meilisearch-オープンソース、使いやすく、吹き飛ばされたほど速く、錆びて組み込まれたハイパーリベーションのある検索エンジン。

機能の切り替え

特徴	説明
enum-map	LangとScript 、列挙マップからEnum特性を実装します
arbitrary	任意のサポート
serde	LangとScriptためにSerializeとDeserialize実装します
dev	内部APIを提供するwhatlang::devモジュールを有効にします。 これはプロファイリングの目的で存在し、通常のユーザーはこのAPIに依存するように落胆します。

どのように機能しますか？

言語認識はどのように機能しますか？

アルゴリズムは、N-Gramsの特定のケースであるTrigram言語モデルに基づいています。このアイデアを理解するには、元のWhitepaper CavnarとTrenkle '94：N-Gramベースのテキスト分類 'を確認してください。

is_reliableどのように計算されますか？

これは、次の要因に基づいています。

• 指定されたテキストには、ユニークなトリグラムがいくつありますか
• 1番目と2番目の（返されない）検出言語の違いはどれくらい大きいですか？このメトリックは、コードベースのrateと呼ばれます。

したがって、しきい値関数を備えた2D空間として提示することができ、「信頼性の高い」および「信頼性のない」領域に分割されます。この機能は双曲線であり、次のように見えます。

詳細については、ブログ記事を確認してくださいRust Whatlang Library and Natural Language Identification Algorithmsの紹介をご覧ください。

タスクを作成します

• make bench - パフォーマンスベンチマークを実行します
• make doc - 生成および開きますdoc
• make test - テストを実行します
• make watch - 時計の変更とテストを実行します

代替との比較

	whatlang	CLD2	CLD3
実装言語	さび	C ++	C ++
言語	68	83	107
アルゴリズム	トリグラム	Quadgrams	ニューラルネットワーク
サポートされているエンコーディング	UTF-8	UTF-8	？
HTMLサポート	いいえ	はい	？

ポートとクローン

• whatlang -ffi -cバインディング
• whatlanggo -whatlang clone for go言語
• whatlang -py-パイソン用のバインディング
• whatlang -rb-ルビーのバインディング
• Whatlangex-エリクサーのバインディング

寄付

近くのトークンを寄付することで、プロジェクトをサポートできます。

私たちの近くのウォレットアドレスはwhatlang.nearです

導出

Whatlangは、Titus WormerによるFranc（JavaScript、MIT）の派生作品です。

ライセンス

MIT©Sergey Potapov

貢献者

• Greyblake Potapov Sergey-クリエイター、メンテナー。
• Dr -Emann Zachary Dremann-最適化と改善
• Baptististegelez Baptiste Gelez-改善
• Vishesh Chopra-ロゴを設計しました
• Joel Natividad-タガログのサポート
• Manythefish-クレイジーな最適化
• KerollmopsClémentRenault-クレイジーな最適化