whatlanggo

Whatlanggo

Détection du langage naturel pour GO.

Caractéristiques

• Prend en charge 84 langues
• 100% écrit en Go
• Pas de dépendances externes
• Rapide
• Reconnaît non seulement une langue, mais aussi un script (latin, cyrillique, etc.)

Commencer

Installation:

    go get -u github.com/abadojack/whatlanggo

Exemple d'utilisation simple:

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

Liste noire et liste blanche

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

Pour plus de détails, veuillez consulter la documentation.

Exigences

Aller 1,8 ou plus

Comment ça marche?

Comment fonctionne la reconnaissance linguistique?

L'algorithme est basé sur les modèles de langue trigramme, qui est un cas particulier de n-grammes. Pour comprendre l'idée, veuillez consulter le livre blanc Cavnar et Trenkle '94: catégorisation de texte basée sur N-GRAM '.

Comment est-ce que l'isrection est calculée?

Il est basé sur les facteurs suivants:

• Combien de trigrammes uniques sont dans le texte donné
• Quelle est la différence entre la première et la deuxième (non retournée) des langues détectées? Cette métrique est appelée rate dans la base de code.

Par conséquent, il peut être présenté comme un espace 2D avec des fonctions de seuil, qui le divise en zones "fiables" et "non fiables". Cette fonction est une hyperbole et elle ressemble à la suivante:

Pour plus de détails, veuillez consulter un article de blog Introduction à Rust Whatlang Library and Natural Language Identification Algorithms.

Licence

Mit

Dérivation

Whatlanggo est un dérivé de Franc (JavaScript, MIT) de Titus Wormer.

Remerciements

Merci à Greyblake (Potapov Sergey) pour avoir créé Whatlang-RS à partir de l'endroit où j'ai eu l'idée et les algorithmes.