whatlang rs

Whatlang

生锈的自然语言检测，专注于简单性和性能。

尝试在线演示。

内容

• 特征
• 开始
• 谁使用Whatlang？
• 文档
• 支持的语言
• 功能切换
• 它如何工作？
  • 语言识别如何工作？
  • 如何计算_rial？
• 运行基准
• 与替代方案进行比较
• 港口和克隆
• 捐赠
• 推导
• 执照
• 贡献者

特征

• 支持69种语言
• 100％用生锈写
• 轻巧，快速和简单
• 不仅识别一种语言，还可以识别脚本（拉丁文，西里尔等）
• 提供可靠性信息

开始

例子：

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

有关更多详细信息（例如如何将某些语言录制），请检查文档。

谁使用Whatlang？

Whatlang在以下大项目中被用作语言识别的直接或间接依赖性。您将使用Whatlang在一家很棒的公司中：

• Sonic-生锈的快速，轻巧和无模式的搜索后端。
• Meilisearch-一种开源，易于使用，快速快速且相关的搜索引擎。

功能切换

特征	描述
enum-map	Lang和Script实现了枚举图的Enum特质
arbitrary	支持任意
serde	实现Lang和Script Serialize和Deserialize
dev	启用whatlang::dev模块，该模块提供了一些内部API。 它存在用于分析目的，而普通用户则不愿依靠此API。

它如何工作？

语言识别如何工作？

该算法基于Trigram语言模型，该模型是N-grams的一种特殊情况。要了解这个想法，请检查原始的白皮书Cavnar和Trenkle '94：基于N-Gram的文本分类'。

如何计算is_reliable ？

它基于以下因素：

• 给定文本中有多少个独特的三格仪
• 第一和第二（未返回）语言之间的区别有多大？该指标在代码库中称为rate 。

因此，可以将其作为具有阈值函数的2D空间，将其分为“可靠”和“不可靠”区域。该功能是一种双曲线，看起来如下：

有关更多详细信息，请查看博客文章Rust Whatlang库和自然语言标识算法的简介。

做任务

• make bench - 运行性能基准
• make doc - 生成并打开文档
• make test - 运行测试
• make watch - 观看更改并进行测试

与替代方案进行比较

	Whatlang	CLD2	CLD3
实施语言	锈	C ++	C ++
语言	68	83	107
算法	trigrams	四边形	神经网络
支持编码	UTF-8	UTF-8	？
HTML支持	不	是的	？

港口和克隆

• Whatlang -ffi -c绑定
• Whatlanggo- Whatlang Clone for Go语言
• whatlang -py- python的绑定
• Whatlang -RB-红宝石的绑定
• Whatlangex-精灵的绑定

捐赠

您可以通过在代币附近捐款来支持该项目。

我们近乎钱包的地址是whatlang.near

推导

Whatlang是Titus Wormer的Franc（MIT JavaScript）的衍生作品。

执照

麻省理工学院©Sergey Potapov

贡献者

• Greyblake Potapov Sergey-创造者，维护者。
• Dr -Emann Zachary Dremann-优化和改进
• Baptistegelez Baptiste Gelez-改进
• Vishesh Chopra-设计徽标
• Joel Natividad-加禄语的支持
• Manusthefish-疯狂的优化
• KerollmopsClément雷诺 - 疯狂优化