whatlang rs

Whatlang

단순성과 성능에 중점을 둔 녹을위한 자연 언어 탐지.

온라인 데모를 시도하십시오.

콘텐츠

• 특징
• 시작하세요
• 누가 Whatlang을 사용합니까?
• 선적 서류 비치
• 지원되는 언어
• 기능 토글
• 어떻게 작동합니까?
  • 언어 인식은 어떻게 작동합니까?
  • _Reliable은 어떻게 계산됩니까?
• 실행중인 벤치 마크
• 대안과 비교
• 항구와 클론
• 기부
• 유도
• 특허
• 기고자

특징

• 69 개 언어를 지원합니다
• 100% Rust로 작성되었습니다
• 가볍고 빠르며 간단합니다
• 언어뿐만 아니라 스크립트 (라틴, 키릴 등)도 인식합니다.
• 신뢰성 정보를 제공합니다

시작하세요

예:

 use whatlang :: { detect , Lang , Script } ;

fn main ( ) {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!" ;

    let info = detect ( text ) . unwrap ( ) ;
    assert_eq ! ( info.lang ( ) , Lang :: Epo ) ;
    assert_eq ! ( info.script ( ) , Script :: Latin ) ;
    assert_eq ! ( info.confidence ( ) , 1.0 ) ;
    assert ! ( info.is_reliable ( ) ) ;
}

자세한 내용은 (예 : 일부 언어를 블랙리스트하는 방법) 문서를 확인하십시오.

누가 Whatlang을 사용합니까?

Whatlang은 다음 큰 프로젝트 내에서 언어 인식을위한 직간접 의존성으로 사용됩니다. 당신은 Whatlang을 사용하여 훌륭한 회사에있을 것입니다.

• Sonic- Rust에서 빠르고 가볍고 스키마가없는 검색 백엔드.
• Meilisearch- 오픈 소스, 사용하기 쉽고, 빠르며, 빠르며, 초과 관련된과 관련된 검색 엔진이 내장되어 있습니다.

기능 토글

특징	설명
enum-map	Lang 과 Script 열거적 인 Enum 특성을 구현합니다
arbitrary	임의적 인 지원
serde	Lang 및 Script 대한 Serialize 및 Deserialize 구현합니다
dev	내부 API를 제공하는 whatlang::dev 모듈을 활성화합니다. 프로파일 링 목적으로 존재하며 정상적인 사용자는이 API에 의존하지 않아도됩니다.

어떻게 작동합니까?

언어 인식은 어떻게 작동합니까?

알고리즘은 N-Gram의 특정 사례 인 Trigram Language 모델을 기반으로합니다. 아이디어를 이해하려면 원래 백서 Cavnar and Trenkle '94 : N-Gram 기반 텍스트 분류 '를 확인하십시오.

is_reliable 어떻게 계산됩니까?

다음 요소를 기반으로합니다.

• 주어진 텍스트에 몇 개의 고유 한 트리 그램이 있습니까?
• 첫 번째와 두 번째 (반환되지 않음) 감지 언어의 차이는 얼마나 큰가요? 이 메트릭은 코드 기반에서 rate 라고합니다.

따라서 임계 값 함수가있는 2D 공간으로 제시 될 수 있으며,이를 "신뢰할 수있는"및 "신뢰할 수없는"영역으로 나눌 수 있습니다. 이 기능은 쌍곡선이며 다음과 같은 것 같습니다.

자세한 내용은 Rust Whatlang Library 및 Natural Language Identification 알고리즘에 대한 블로그 기사 소개를 확인하십시오.

작업을 수행하십시오

• make bench - 성능 벤치 마크를 실행하십시오
• make doc 문서를 생성하고 열 수 있습니다
• make test - 실행 테스트
• make watch - 시계 변경 및 테스트를 실행하십시오

대안과 비교

	Whatlang	cld2	cld3
구현 언어	녹	C ++	C ++
언어	68	83	107
연산	트리 그램	쿼드 그램	신경망
지원되는 인코딩	UTF-8	UTF-8	?
HTML 지원	아니요	예	?

항구와 클론

• Whatlang -Ffi -C 바인딩
• Whatlanggo- Go Language를 위해 Whatlang Clone
• Whatlang -Py- 파이썬에 대한 바인딩
• Whatlang -rb- 루비의 바인딩
• Whatlangex- Elixir의 바인딩

기부

근처 토큰을 기부하여 프로젝트를 지원할 수 있습니다.

우리의 지갑 주소는 whatlang.near 입니다

유도

Whatlang 은 Titus Wormer의 Franc (JavaScript, MIT)의 파생 작품입니다.

특허

MIT © Sergey Potapov

기고자

• Greyblake Potapov Sergey- 제작자, 관리자.
• Dr -Emann Zachary Dremann- 최적화 및 개선
• Baptistegelez Baptiste Gelez- 개선
• Vishesh Chopra- 로고를 설계했습니다
• Joel Natividad- 타갈로그의 지원
• 많은 피식 - 미친 최적화
• Kerollmops Clément Renault- 미친 최적화