whatlang rs

Whatlang

Erkennung natürlicher Sprache für Rost mit Fokus auf Einfachheit und Leistung.

Probieren Sie Online -Demo.

Inhalt

• Merkmale
• Fangen an
• Wer benutzt Whatlang?
• Dokumentation
• Unterstützte Sprachen
• Feature -Wechsel
• Wie funktioniert es?
  • Wie funktioniert die Spracherkennung?
  • Wie berechnet is_rilable?
• Laufbenchmark
• Vergleich mit Alternativen
• Ports und Klone
• Spenden
• Ableitung
• Lizenz
• Mitwirkende

Merkmale

• Unterstützt 69 Sprachen
• 100% in Rost geschrieben
• Leicht, schnell und einfach
• Erkennt nicht nur eine Sprache, sondern auch eine Skript (lateinisch, kyrillisch usw.)
• Bietet Zuverlässigkeitsinformationen

Fangen an

Beispiel:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Weitere Informationen (z. B. wie Sie einige Sprachen schwarzlisten) finden Sie in der Dokumentation.

Wer benutzt Whatlang?

Whatlang wird in den folgenden großen Projekten als direkte oder indirekte Abhängigkeit für die Spracherkennung verwendet. Sie werden in einer großartigen Firma mit Whatlang sein:

• Sonic - Schnell, leicht und schematisches Such -Backend in Rost.
• Meilisearch-eine Open-Source-, leicht zu bedienende, leuchtend schnelle und hyperrelevante Suchmaschine, die in Rost eingebaut ist.

Feature -Wechsel

Besonderheit	Beschreibung
enum-map	Lang und Script implementieren Enum Merkmal aus Enum-Map
arbitrary	Unterstützung willkürlich
serde	Implementiert Serialize und Deserialize für Lang und Script
dev	Aktiviert whatlang::dev -Modul, das eine interne API liefert. Es existiert für Profilezwecke, und normale Benutzer sind davon abgehalten, sich auf diese API zu verlassen.

Wie funktioniert es?

Wie funktioniert die Spracherkennung?

Der Algorithmus basiert auf den Trigrammsprachmodellen, die ein besonderer Fall von N-Gramm sind. Um die Idee zu verstehen, überprüfen Sie bitte die ursprüngliche Whitepaper Cavnar und Trenkle '94: N-Gram-basierte Textkategorisierung '.

Wie wird is_reliable berechnet?

Es basiert auf den folgenden Faktoren:

• Wie viele einzigartige Trigramme sind im angegebenen Text
• Wie groß ist der Unterschied zwischen dem ersten und dem zweiten (nicht zurückgegeben) erkannten Sprachen? Diese Metrik wird in der Codebasis rate .

Daher kann es als 2D -Raum mit Schwellenwertfunktionen dargestellt werden, die ihn in "zuverlässige" und "nicht zuverlässige" Bereiche aufteilt. Diese Funktion ist eine Hyperbel und sie sieht aus wie die folgende:

Weitere Informationen finden Sie in einem Blog -Artikel zur Einführung in die Rost Whatlang -Bibliothek und die Algorithmen für natürliche Sprache.

Aufgaben machen

• make bench - Performance -Benchmarks ausführen
• make doc - Generieren und Öffnen Sie Doc
• make test - Tests ausführen
• make watch - Uhrenänderungen und führen Sie Tests aus

Vergleich mit Alternativen

	Whatlang	CLD2	CLD3
Implementierungssprache	Rost	C ++	C ++
Sprachen	68	83	107
Algorithmus	Trigramme	Quadgrams	Neurales Netzwerk
Unterstützte Codierung	UTF-8	UTF-8	?
HTML -Unterstützung	NEIN	Ja	?

Ports und Klone

• Whathlang -FFi - C -Bindungen
• Whatlanggo - Whatlang Clone für Go Sprache
• Whatlang -Py - Bindungen für Python
• Whatlang -RB - Bindungen für Ruby
• WhatLangex - Bindungen für Elixier

Spenden

Sie können das Projekt unterstützen, indem Sie in der Nähe von Token spenden.

Unsere Nahen Brieftasche ist whatlang.near

Ableitung

Whatlang ist eine abgeleitete Arbeit von Franc (JavaScript, MIT) von Titus Wormer.

Lizenz

Mit © Sergey Potapov

Mitwirkende

• Greyblake Potapov Sergey - Schöpfer, Betreuer.
• Dr -Emann Zachary Dremann - Optimierung und Verbesserungen
• Baptistegelez Baptiste Gelez - Verbesserungen
• Vishesh Chopra - Das Logo entworfen
• Joel Natividad - Unterstützung von Tagalog
• ManytheFish - verrückte Optimierung
• Kerollmops Clément Renault - Verrückte Optimierung