Téléchargement whatlang rs - Téléchargement du code source whatlang rs

whatlang rs

Autre code source

v0.16.2 - 2022-10-23

Télécharger

Whatlang

Détection du langage naturel pour la rouille en mettant l'accent sur la simplicité et les performances.

Essayez la démo en ligne.

Contenu

Caractéristiques
Commencer
Qui utilise Whatlang?
Documentation
Langues prises en charge
Basculement des fonctionnalités
Comment ça marche?
- Comment fonctionne la reconnaissance linguistique?
- Comment_reliable est-il calculé?
Référence en cours d'exécution
Comparaison avec les alternatives
Ports et clones
Dons
Dérivation
Licence
Contributeurs

Caractéristiques

Prend en charge 69 langues
100% écrit en rouille
Léger, rapide et simple
Reconnaît non seulement une langue, mais aussi un script (latin, cyrillique, etc.)
Fournit des informations de fiabilité

Commencer

Exemple:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Pour plus de détails (par exemple, comment liste noire certaines langues), veuillez consulter la documentation.

Qui utilise Whatlang?

Whatlang est utilisé dans les grands projets suivants comme dépendance directe ou indirecte pour la reconnaissance du langage. Tu vas être dans une grande entreprise en utilisant Whatlang:

Sonic - Backend rapide, léger et sans schéma dans la rouille.
Meilisearch - un moteur de recherche open-source, facile à utiliser, rapide et hyper-pertinent construit en rouille.

Basculement des fonctionnalités

Fonctionnalité	Description
`enum-map`	`Lang` et `Script` implémentent le trait `Enum` de Enum-Map
`arbitrary`	Soutenir arbitraire
`serde`	Implémente `Serialize` et `Deserialize` pour `Lang` et `Script`
`dev`	Active le module `whatlang::dev` qui fournit une API interne. Il existe à des fins de profilage et les utilisateurs normaux sont découragés de s'appuyer sur cette API.

Comment ça marche?

Comment fonctionne la reconnaissance linguistique?

L'algorithme est basé sur les modèles de langue trigramme, qui est un cas particulier de n-grammes. Pour comprendre l'idée, veuillez consulter le livre blanc Cavnar et Trenkle '94: catégorisation de texte basée sur N-GRAM '.

Comment `is_reliable` est-il calculé?

Il est basé sur les facteurs suivants:

Combien de trigrammes uniques sont dans le texte donné
Quelle est la différence entre la première et la deuxième (non retournée) des langues détectées? Cette métrique est appelée rate dans la base de code.

Par conséquent, il peut être présenté comme un espace 2D avec des fonctions de seuil, qui le divise en zones "fiables" et "non fiables". Cette fonction est une hyperbole et elle ressemble à la suivante:

Pour plus de détails, veuillez consulter un article de blog Introduction à Rust Whatlang Library and Natural Language Identification Algorithms.

Faire des tâches

make bench - exécuter des références de performance
make doc - générer et ouvrir Doc
make test - exécuter
make watch - regarder les modifications et exécuter les tests

Comparaison avec les alternatives

	Whatlang	Cld2	CLD3
Langue de mise en œuvre	Rouiller	C ++	C ++
Langues	68	83	107
Algorithme	trigrammes	quadgrams	réseau neuronal
Encodage pris en charge	UTF-8	UTF-8	?
Support HTML	Non	Oui	?