Download do whatlang rs - whatlang rs download de código -fonte

whatlang rs

Outro código-fonte

v0.16.2 - 2022-10-23

Baixar

WhatLang

Detecção de linguagem natural para ferrugem com foco na simplicidade e desempenho.

Experimente a demonstração online.

Contente

Características
Comece
Quem usa o WhatLang?
Documentação
Idiomas suportados
ALTERAÇÕES DE RECURSOS
Como funciona?
- Como funciona o reconhecimento de idiomas?
- Como é calculado?
Executando benchmark
Comparação com alternativas
Portos e clones
Doações
Derivação
Licença
Colaboradores

Características

Suporta 69 idiomas
100% escrito em ferrugem
Leve, rápido e simples
Reconhece não apenas um idioma, mas também um script (latim, cirílico, etc)
Fornece informações de confiabilidade

Comece

Exemplo:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Para mais detalhes (por exemplo, como a lista negra de alguns idiomas), verifique a documentação.

Quem usa o WhatLang?

O WhatLang é usado nos seguintes grandes projetos como dependência direta ou indireta para o reconhecimento de idiomas. Você estará em uma ótima empresa usando o Whatlang:

Sonic - Back -end de pesquisa rápido, leve e sem esquema em ferrugem.
Meilisearch-Um mecanismo de pesquisa de código aberto, fácil de usar, incrivelmente rápido e hiper-relevante construído em ferrugem.

ALTERAÇÕES DE RECURSOS

Recurso	Descrição
`enum-map`	`Lang` e `Script` implementam traço de `Enum` do enum-mapa
`arbitrary`	Suporte arbitrário
`serde`	Implementa `Serialize` e `Deserialize` para `Lang` e `Script`
`dev`	Ativa o módulo `whatlang::dev` , que fornece algumas APIs internas. Existe para fins de perfil e usuários normais são desencorajados a confiar nessa API.

Como funciona?

Como funciona o reconhecimento de idiomas?

O algoritmo é baseado nos modelos de idiomas do TriGram, que é um caso específico de n-gramas. Para entender a idéia, verifique o Whitepaper Cavnar e Trenkle '94: categorização de texto baseada em n-gramas '.

Como `is_reliable` é calculado?

É baseado nos seguintes fatores:

Quantas trigramas exclusivas estão no texto fornecido
Qual é a diferença entre o primeiro e o segundo (não devolvido) idiomas detectados? Essa métrica é chamada de rate na base de código.

Portanto, pode ser apresentado como espaço em 2D com funções limiares, que o divide em áreas "confiáveis" e "não confiáveis". Esta função é uma hipérbole e parece a seguinte:

Para mais detalhes, consulte um artigo do blog Introdução à biblioteca Rust Whatlang e algoritmos de identificação de idiomas naturais.

Fazer tarefas

make bench - Execute benchmarks de desempenho
make doc - Gere e abra o documento
make test - Executar testes
make watch - Assista a alterações e execute testes

Comparação com alternativas

	WhatLang	CLD2	CLD3
Linguagem de implementação	Ferrugem	C ++	C ++
Idiomas	68	83	107
Algoritmo	TriGramas	QuadGrams	Rede Neural
Codificação suportada	UTF-8	UTF-8	?
Suporte HTML	não	sim	?