whatlanggo

Whatlanggo

Detecção de linguagem natural para GO.

Características

• Suporta 84 idiomas
• 100% escrito em go
• Sem dependências externas
• Rápido
• Reconhece não apenas um idioma, mas também um script (latim, cirílico, etc)

Começando

Instalação:

    go get -u github.com/abadojack/whatlanggo

Exemplo de uso simples:

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

Lista negra e colisão de permissões

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

Para mais detalhes, verifique a documentação.

Requisitos

Vá 1,8 ou superior

Como funciona?

Como funciona o reconhecimento de idiomas?

O algoritmo é baseado nos modelos de idiomas do TriGram, que é um caso específico de n-gramas. Para entender a idéia, verifique o Whitepaper Cavnar e Trenkle '94: categorização de texto baseada em n-gramas '.

Como o ISreliable calculado?

É baseado nos seguintes fatores:

• Quantas trigramas exclusivas estão no texto fornecido
• Qual é a diferença entre o primeiro e o segundo (não devolvido) idiomas detectados? Essa métrica é chamada de rate na base de código.

Portanto, pode ser apresentado como espaço em 2D com funções limiares, que o divide em áreas "confiáveis" e "não confiáveis". Esta função é uma hipérbole e parece a seguinte:

Para mais detalhes, consulte um artigo do blog Introdução à biblioteca Rust Whatlang e algoritmos de identificação de idiomas naturais.

Licença

Mit

Derivação

Whatlanggo é um derivado de Franc (JavaScript, MIT) de Titus Wormer.

Agradecimentos

Graças a Greyblake (Potapov Sergey) por criar o WhatLang-Rs de onde eu consegui a ideia e os algoritmos.