whatlang rs

Whatlang

生鏽的自然語言檢測，專注於簡單性和性能。

嘗試在線演示。

內容

• 特徵
• 開始
• 誰使用Whatlang？
• 文件
• 支持的語言
• 功能切換
• 它如何工作？
  • 語言識別如何工作？
  • 如何計算_rial？
• 運行基準
• 與替代方案進行比較
• 港口和克隆
• 捐贈
• 推導
• 執照
• 貢獻者

特徵

• 支持69種語言
• 100％用生鏽寫
• 輕巧，快速和簡單
• 不僅識別一種語言，還可以識別腳本（拉丁文，西里爾等）
• 提供可靠性信息

開始

例子：

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

有關更多詳細信息（例如如何將某些語言錄製），請檢查文檔。

誰使用Whatlang？

Whatlang在以下大項目中被用作語言識別的直接或間接依賴性。您將使用Whatlang在一家很棒的公司中：

• Sonic-生鏽的快速，輕巧和無模式的搜索後端。
• Meilisearch-一種開源，易於使用，快速快速且相關的搜索引擎。

功能切換

特徵	描述
enum-map	Lang和Script實現了枚舉圖的Enum特質
arbitrary	支持任意
serde	實現Lang和Script Serialize和Deserialize
dev	啟用whatlang::dev模塊，該模塊提供了一些內部API。 它存在用於分析目的，而普通用戶則不願依靠此API。

它如何工作？

語言識別如何工作？

該算法基於Trigram語言模型，該模型是N-grams的一種特殊情況。要了解這個想法，請檢查原始的白皮書Cavnar和Trenkle '94：基於N-Gram的文本分類'。

如何計算is_reliable ？

它基於以下因素：

• 給定文本中有多少個獨特的三格儀
• 第一和第二（未返回）語言之間的區別有多大？該指標在代碼庫中稱為rate 。

因此，可以將其作為具有閾值函數的2D空間，將其分為“可靠”和“不可靠”區域。該功能是一種雙曲線，看起來如下：

有關更多詳細信息，請查看博客文章Rust Whatlang庫和自然語言標識算法的簡介。

做任務

• make bench - 運行性能基準
• make doc - 生成並打開文檔
• make test - 運行測試
• make watch - 觀看更改並進行測試

與替代方案進行比較

	Whatlang	CLD2	CLD3
實施語言	銹	C ++	C ++
語言	68	83	107
演算法	Trigrams	四邊形	神經網絡
支持編碼	UTF-8	UTF-8	？
HTML支持	不	是的	？

港口和克隆

• Whatlang -ffi -c綁定
• Whatlanggo- Whatlang Clone for Go語言
• whatlang -py- python的綁定
• Whatlang -RB-紅寶石的綁定
• Whatlangex-精靈的綁定

捐贈

您可以通過在代幣附近捐款來支持該項目。

我們近乎錢包的地址是whatlang.near

推導

Whatlang是Titus Wormer的Franc（MIT JavaScript）的衍生作品。

執照

麻省理工學院©Sergey Potapov

貢獻者

• Greyblake Potapov Sergey-創造者，維護者。
• Dr -Emann Zachary Dremann-優化和改進
• Baptistegelez Baptiste Gelez-改進
• Vishesh Chopra-設計徽標
• Joel Natividad-加祿語的支持
• Manusthefish-瘋狂的優化
• KerollmopsClément雷諾 - 瘋狂優化