whatlang rs

Whatlang

การตรวจจับภาษาธรรมชาติสำหรับการเกิดสนิมโดยมุ่งเน้นไปที่ความเรียบง่ายและประสิทธิภาพ

ลองสาธิตออนไลน์

เนื้อหา

• คุณสมบัติ
• เริ่มต้นใช้งาน
• ใครใช้ Whatlang?
• เอกสาร
• ภาษาที่รองรับ
• การสลับคุณสมบัติ
• มันทำงานอย่างไร?
  • การจดจำภาษาทำงานอย่างไร?
  • คำนวณได้อย่างไร?
• เกณฑ์มาตรฐาน
• เปรียบเทียบกับทางเลือก
• พอร์ตและโคลน
• เงินบริจาค
• การได้มา
• ใบอนุญาต
• ผู้มีส่วนร่วม

คุณสมบัติ

• รองรับ 69 ภาษา
• เขียน 100% ในสนิม
• น้ำหนักเบาเร็วและง่าย
• รับรู้ไม่เพียง แต่ภาษาเท่านั้น แต่ยังรวมถึงสคริปต์ (ละติน, Cyrillic ฯลฯ )
• ให้ข้อมูลความน่าเชื่อถือ

เริ่มต้นใช้งาน

ตัวอย่าง:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

สำหรับรายละเอียดเพิ่มเติม (เช่นวิธีการขึ้นบัญชีดำบางภาษา) โปรดตรวจสอบเอกสาร

ใครใช้ Whatlang?

Whatlang ใช้ภายในโครงการขนาดใหญ่ต่อไปนี้เป็นการพึ่งพาโดยตรงหรือโดยอ้อมสำหรับการจดจำภาษา คุณจะอยู่ใน บริษัท ที่ยอดเยี่ยมโดยใช้ Whatlang:

• Sonic - Fast, Lightweight และ Schema -Less Search Backend ใน Rust
• Meilisearch-โอเพ่นซอร์ส, ใช้งานง่าย, ใช้งานง่าย, รวดเร็วและเป็นไปได้อย่างรวดเร็วและกลไกค้นหาที่เกี่ยวข้องกับการเกิดสนิม

การสลับคุณสมบัติ

คุณสมบัติ	คำอธิบาย
enum-map	Lang และ Script ใช้คุณสมบัติ Enum จาก enum-map
arbitrary	สนับสนุนโดยพลการ
serde	ดำเนินการ Serialize และ Deserialize สำหรับ Lang และ Script
dev	เปิดใช้งานโมดูล whatlang::dev ซึ่งให้ API ภายใน มันมีอยู่เพื่อจุดประสงค์ในการทำโปรไฟล์และผู้ใช้ปกติจะไม่ยอมพึ่งพา API นี้

มันทำงานอย่างไร?

การจดจำภาษาทำงานอย่างไร?

อัลกอริทึมขึ้นอยู่กับโมเดลภาษา Trigram ซึ่งเป็นกรณีเฉพาะของ N-grams เพื่อทำความเข้าใจความคิดโปรดตรวจสอบ whitepaper ต้นฉบับ Cavnar และ Trenkle '94: การจัดหมวดหมู่ข้อความที่ใช้ N-Gram '

is_reliable คำนวณได้อย่างไร?

มันขึ้นอยู่กับปัจจัยต่อไปนี้:

• trigrams ที่ไม่ซ้ำกันมีกี่รายการในข้อความที่กำหนด
• ความแตกต่างระหว่างภาษาที่ตรวจพบครั้งแรกและครั้งที่สอง (ไม่ส่งคืน) มีขนาดใหญ่แค่ไหน? ตัวชี้วัดนี้เรียกว่า rate ในฐานรหัส

ดังนั้นจึงสามารถนำเสนอเป็นพื้นที่ 2D ที่มีฟังก์ชั่นเกณฑ์ที่แยกออกเป็นพื้นที่ "เชื่อถือได้" และ "ไม่น่าเชื่อถือ" ฟังก์ชั่นนี้เป็นไฮเพอร์โบลาและดูเหมือนว่าต่อไปนี้:

สำหรับรายละเอียดเพิ่มเติมโปรดตรวจสอบบทความบล็อกบทนำสู่ห้องสมุด Rust Whatlang และอัลกอริทึมการระบุภาษาธรรมชาติ

ทำภารกิจ

• make bench มาร์กประสิทธิภาพ
• make doc - สร้างและเปิดเอกสาร
• make test - เรียกใช้การทดสอบ
• make watch - ดูการเปลี่ยนแปลงและเรียกใช้การทดสอบ

เปรียบเทียบกับทางเลือก

	Whatlang	CLD2	CLD3
ภาษาการใช้งาน	สนิม	C ++	C ++
ภาษา	68	83	107
อัลกอริทึม	ตรัม	รูปสี่เท่า	เครือข่ายประสาท
การเข้ารหัสที่รองรับ	UTF-8	UTF-8	-
การสนับสนุน HTML	เลขที่	ใช่	-

พอร์ตและโคลน

• Whatlang -ffi - C การผูก
• Whatlanggo - Whatlang Clone for Go Language
• Whatlang -py - การผูกสำหรับ Python
• Whatlang -RB - การผูกสำหรับทับทิม
• Whatlangex - การผูกสำหรับน้ำอมฤต

เงินบริจาค

คุณสามารถสนับสนุนโครงการได้โดยบริจาคโทเค็นใกล้

ที่อยู่ใกล้กับกระเป๋าเงินของเราคือ whatlang.near

การได้มา

Whatlang เป็นงานอนุพันธ์จาก Franc (JavaScript, MIT) โดย Titus Wormer

ใบอนุญาต

MIT © Sergey Potapov

ผู้มีส่วนร่วม

• Greyblake Potapov Sergey - ผู้สร้างผู้ดูแล
• DR -EMANN ZACHARY DREMANN - การเพิ่มประสิทธิภาพและการปรับปรุง
• Baptistegelez Baptiste Gelez - การปรับปรุง
• Vishesh Chopra - ออกแบบโลโก้
• Joel Natividad - การสนับสนุนของ Tagalog
• Manythevish - การเพิ่มประสิทธิภาพที่บ้าคลั่ง
• Kerollmops Clément Renault - การเพิ่มประสิทธิภาพที่บ้าคลั่ง