whatlanggo

Whatlanggo

Deteksi bahasa alami untuk Go.

Fitur

• Mendukung 84 bahasa
• 100% ditulis dalam go
• Tidak ada dependensi eksternal
• Cepat
• Mengenali tidak hanya bahasa, tetapi juga skrip (Latin, Cyrillic, dll)

Memulai

Instalasi:

    go get -u github.com/abadojack/whatlanggo

Contoh Penggunaan Sederhana:

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

Daftar hitam dan daftar putih

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

Untuk detail lebih lanjut, silakan periksa dokumentasinya.

Persyaratan

Pergi 1,8 atau lebih tinggi

Bagaimana cara kerjanya?

Bagaimana cara kerja pengakuan bahasa?

Algoritma ini didasarkan pada model bahasa Trigram, yang merupakan kasus khusus N-gram. Untuk memahami idenya, silakan periksa Whitepaper Cavnar dan Trenkle '94: kategorisasi teks berbasis N-gram '.

Bagaimana cara yang dapat dihitung?

Ini didasarkan pada faktor -faktor berikut:

• Berapa banyak trigram unik dalam teks yang diberikan
• Seberapa besar perbedaan antara bahasa pertama dan kedua (tidak dikembalikan) yang terdeteksi? Metrik ini disebut rate dalam basis kode.

Oleh karena itu, dapat disajikan sebagai ruang 2D dengan fungsi ambang batas, yang membagi menjadi area yang "andal" dan "tidak dapat diandalkan". Fungsi ini adalah hiperbola dan sepertinya yang berikut:

Untuk detail lebih lanjut, silakan periksa Artikel Blog Pengantar Perpustakaan Rust Whatlang dan Algoritma Identifikasi Bahasa Alami.

Lisensi

Mit

Penurunan

Whatlanggo adalah turunan dari Franc (JavaScript, MIT) oleh Titus Wormer.

Ucapan Terima Kasih

Terima kasih kepada Greyblake (Potapov Sergey) yang telah membuat Whatlang-R dari tempat saya mendapatkan ide dan algoritma.