whatlanggo

Whatlanggo

自然语言检测。

特征

• 支持84种语言
• 100％写的
• 没有外部依赖性
• 快速地
• 不仅识别一种语言，还可以识别脚本（拉丁文，西里尔等）

入门

安装：

    go get -u github.com/abadojack/whatlanggo

简单用法示例：

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

黑名单和白名单

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

有关更多详细信息，请检查文档。

要求

走1.8或更高

它如何工作？

语言识别如何工作？

该算法基于Trigram语言模型，该模型是N-grams的一种特殊情况。要了解这个想法，请检查原始的白皮书Cavnar和Trenkle '94：基于N-Gram的文本分类'。

如何计算？

它基于以下因素：

• 给定文本中有多少个独特的三格仪
• 第一和第二（未返回）语言之间的区别有多大？该指标在代码库中称为rate 。

因此，可以将其作为具有阈值函数的2D空间，将其分为“可靠”和“不可靠”区域。该功能是一种双曲线，看起来如下：

有关更多详细信息，请查看博客文章Rust Whatlang库和自然语言标识算法的简介。

执照

麻省理工学院

推导

Whatlanggo是Titus Wormer的Franc（JavaScript，MIT）的衍生产品。

致谢

感谢Greyblake（Potapov Sergey）创建了从我获得的想法和算法的Whatlang-Rs。