whatlang rs Download - تنزيل رمز المصدر whatlang rs

whatlang rs

شفرة المصدر الأخرى

v0.16.2 - 2022-10-23

تنزيل

Whatlang

الكشف عن اللغة الطبيعية للصدأ مع التركيز على البساطة والأداء.

جرب العرض التوضيحي عبر الإنترنت.

محتوى

سمات
ابدأ
من يستخدم Whatlang؟
الوثائق
اللغات المدعومة
ميزة التبديل
كيف تعمل؟
- كيف يعمل التعرف على اللغة؟
- كيف يتم حساب _Reletable؟
تشغيل القياس
مقارنة مع البدائل
الموانئ والاستنساخ
التبرعات
اشتقاق
رخصة
المساهمين

سمات

يدعم 69 لغة
100 ٪ مكتوب في الصدأ
خفيف الوزن وسريع وبسيط
لا يتعرف ليس فقط على لغة ، ولكن أيضًا نصًا (لاتينيًا ، سيريليك ، إلخ)
يوفر معلومات الموثوقية

ابدأ

مثال:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

لمزيد من التفاصيل (على سبيل المثال كيفية إدراج بعض اللغات) ، يرجى التحقق من الوثائق.

من يستخدم Whatlang؟

يتم استخدام Whatlang ضمن المشاريع الكبيرة التالية كاعتماد مباشر أو غير مباشر للتعرف على اللغة. ستكون في شركة رائعة باستخدام Whatlang:

Sonic - سريع ، خفيفة الوزن وبحث الخطر الخلفية الخلفية في الصدأ.
Meilisearch-محرك بحث مفتوح المصدر وسهل الاستخدام وسريع ومتسابق للغاية ومضمّن في الصدأ.

ميزة التبديل

ميزة	وصف
`enum-map`	`Lang` و `Script` تنفيذ سمة `Enum` من خريطة التعداد
`arbitrary`	دعم التعسفي
`serde`	ينفذ `Serialize` `Deserialize` `Lang` `Script`
`dev`	تتيح الوحدة النمطية `whatlang::dev` التي توفر بعض واجهة برمجة التطبيقات الداخلية. إنه موجود لأغراض التنميط ويشجع المستخدمون العاديون على الاعتماد على واجهة برمجة التطبيقات هذه.

كيف تعمل؟

كيف يعمل التعرف على اللغة؟

تعتمد الخوارزمية على نماذج لغة Trigram ، وهي حالة معينة من n-grams. لفهم الفكرة ، يرجى التحقق من ورقة Cavnar و Trenkle '94 الأصلية: تصنيف النص المستند إلى N-Gram.

كيف يتم حساب `is_reliable` ؟

يعتمد على العوامل التالية:

كم عدد trigrams الفريدة في النص المحدد
ما هو حجم الفرق بين اللغات الأولى والثانية (لم يتم إرجاعها)؟ يسمى هذا المقياس rate في قاعدة الكود.

لذلك ، يمكن تقديمها كمساحة ثنائية الأبعاد مع وظائف العتبة ، والتي تقسمها إلى مجالات "موثوقة" و "غير موثوقة". هذه الوظيفة عبارة

لمزيد من التفاصيل ، يرجى التحقق من مقالة مدونة في مكتبة Rust Whatlang وخوارزميات تحديد اللغة الطبيعية.

جعل المهام

make bench - معايير الأداء
make doc - توليد وفتح مستند
make test - إجراء اختبارات
make watch - شاهد التغييرات وتشغيل الاختبارات

مقارنة مع البدائل

	Whatlang	CLD2	CLD3
لغة التنفيذ	الصدأ	C ++	C ++
اللغات	68	83	107
خوارزمية	trigrams	Quadgrams	الشبكة العصبية
الترميز المدعوم	UTF-8	UTF-8	؟
دعم HTML	لا	نعم	؟