Download whatlang rs - Unduh Kode Sumber whatlang rs

whatlang rs

Kode sumber lainnya

v0.16.2 - 2022-10-23

Unduh

Whatlang

Deteksi bahasa alami untuk karat dengan fokus pada kesederhanaan dan kinerja.

Coba demo online.

Isi

Fitur
Mulai
Siapa yang menggunakan Whatlang?
Dokumentasi
Bahasa yang didukung
Fitur rogen
Bagaimana cara kerjanya?
- Bagaimana Pengenalan Bahasa Kerja?
- Bagaimana dihitung yang dapat dihitung?
Menjalankan tolok ukur
Perbandingan dengan alternatif
Pelabuhan dan klon
Sumbangan
Penurunan
Lisensi
Kontributor

Fitur

Mendukung 69 bahasa
100% ditulis dengan karat
Ringan, cepat dan sederhana
Mengenali tidak hanya bahasa, tetapi juga skrip (Latin, Cyrillic, dll)
Memberikan informasi keandalan

Mulai

Contoh:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

Untuk detail lebih lanjut (misalnya cara membuat daftar hitam beberapa bahasa) silakan periksa dokumentasinya.

Siapa yang menggunakan Whatlang?

Whatlang digunakan dalam proyek -proyek besar berikut sebagai ketergantungan langsung atau tidak langsung untuk pengakuan bahasa. Anda akan berada di perusahaan hebat menggunakan Whatlang:

Sonic - Pencarian Backend Tanpa Skema di Rust.
Meilisearch-Mesin pencari open-source, mudah digunakan, sangat cepat, dan hiper-relevan dibangun di karat.

Fitur rogen

Fitur	Keterangan
`enum-map`	`Lang` dan `Script` mengimplementasikan sifat `Enum` dari enum-map
`arbitrary`	Dukungan sewenang -wenang
`serde`	Mengimplementasikan `Serialize` dan `Deserialize` untuk `Lang` dan `Script`
`dev`	Mengaktifkan `whatlang::dev` Modul yang menyediakan beberapa API internal. Itu ada untuk tujuan profil dan pengguna normal berkecil hati untuk mengandalkan API ini.

Bagaimana cara kerjanya?

Bagaimana cara kerja pengakuan bahasa?

Algoritma ini didasarkan pada model bahasa Trigram, yang merupakan kasus khusus N-gram. Untuk memahami idenya, silakan periksa Whitepaper Cavnar dan Trenkle '94: kategorisasi teks berbasis N-gram '.

Bagaimana `is_reliable` dihitung?

Ini didasarkan pada faktor -faktor berikut:

Berapa banyak trigram unik dalam teks yang diberikan
Seberapa besar perbedaan antara bahasa pertama dan kedua (tidak dikembalikan) yang terdeteksi? Metrik ini disebut rate dalam basis kode.

Oleh karena itu, dapat disajikan sebagai ruang 2D dengan fungsi ambang batas, yang membagi menjadi area yang "andal" dan "tidak dapat diandalkan". Fungsi ini adalah hiperbola dan sepertinya yang berikut:

Untuk detail lebih lanjut, silakan periksa Artikel Blog Pengantar Perpustakaan Rust Whatlang dan Algoritma Identifikasi Bahasa Alami.