Descargar whatlang rs - Descargar el código fuente whatlang rs

whatlang rs

Otro código fuente

v0.16.2 - 2022-10-23

Descargar

Que

Detección del lenguaje natural para el óxido con enfoque en la simplicidad y el rendimiento.

Prueba la demostración en línea.

Contenido

Características
Empezar
¿Quién usa Whatlang?
Documentación
Idiomas compatibles
Feating Taggles
¿Cómo funciona?
- ¿Cómo funciona el reconocimiento del idioma?
- ¿Cómo se calcula el valor?
Ejecución de referencia
Comparación con alternativas
Puertos y clones
Donaciones
Derivación
Licencia
Colaboradores

Características

Admite 69 idiomas
100% escrito en óxido
Ligero, rápido y simple
Reconoce no solo un lenguaje, sino también un guión (latín, cirílico, etc.)
Proporciona información de confiabilidad

Empezar

Ejemplo:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Para obtener más detalles (por ejemplo, cómo lista negra algunos idiomas), consulte la documentación.

¿Quién usa Whatlang?

Whatlang se usa dentro de los siguientes grandes proyectos como dependencia directa o indirecta para el reconocimiento del lenguaje. Vas a estar en una gran compañía usando Whatlang:

Sonic: rápido, liviano y sin esquema, Backend de búsqueda en óxido.
MeilISearch: un motor de búsqueda de código abierto, fácil de usar, luminamente rápido e hiper-relevante incorporado óxido.

Feating Taggles

Característica	Descripción
`enum-map`	`Lang` y `Script` implementan rasgo `Enum` de enum-map
`arbitrary`	Soporte arbitrario
`serde`	Implementa `Serialize` y `Deserialize` para `Lang` y `Script`
`dev`	Habilita el módulo `whatlang::dev` que proporciona algunas API internos. Existe para fines de perfil y se desanima a los usuarios normales a confiar en esta API.

¿Cómo funciona?

¿Cómo funciona el reconocimiento del idioma?

El algoritmo se basa en los modelos de lenguaje Trigram, que es un caso particular de N-Grams. Para comprender la idea, consulte el documento técnico original Cavnar y Trenkle '94: categorización de texto basada en N-Gram '.

¿Cómo se calcula `is_reliable` ?

Se basa en los siguientes factores:

¿Cuántos trigramas únicos hay en el texto dado?
¿Qué tan grande es la diferencia entre el primero y el segundo (no devuelto) los idiomas detectados? Esta métrica se llama rate en la base de código.

Por lo tanto, puede presentarse como espacio 2D con funciones umbral, que lo divide en áreas "confiables" y "no confiables". Esta función es una hipérbola y parece la siguiente:

Para obtener más detalles, consulte un artículo de blog Introducción a la biblioteca de Rust Watlang y los algoritmos de identificación de lenguaje natural.