whatlanggo

Whatlanggo

GO를위한 자연 언어 탐지.

특징

• 84 개 언어를 지원합니다
• 100%로 작성되었습니다
• 외부 의존성이 없습니다
• 빠른
• 언어뿐만 아니라 스크립트 (라틴, 키릴 등)도 인식합니다.

시작하기

설치:

    go get -u github.com/abadojack/whatlanggo

간단한 사용 예 :

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	info := whatlanggo . Detect ( "Foje funkcias kaj foje ne funkcias" )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ], " Confidence: " , info . Confidence )
}

블랙리스트 및 화이트리스트

 package main

import (
	"fmt"

	"github.com/abadojack/whatlanggo"
)

func main () {
	//Blacklist
	options := whatlanggo. Options {
		Blacklist : map [whatlanggo. Lang ] bool {
			whatlanggo . Ydd : true ,
		},
	}

	info := whatlanggo . DetectWithOptions ( "האקדמיה ללשון העברית" , options )

	fmt . Println ( "Language:" , info . Lang . String (), "Script:" , whatlanggo . Scripts [ info . Script ])

	//Whitelist
	options1 := whatlanggo. Options {
		Whitelist : map [whatlanggo. Lang ] bool {
			whatlanggo . Epo : true ,
			whatlanggo . Ukr : true ,
		},
	}

	info = whatlanggo . DetectWithOptions ( "Mi ne scias" , options1 )
	fmt . Println ( "Language:" , info . Lang . String (), " Script:" , whatlanggo . Scripts [ info . Script ])
}

자세한 내용은 문서를 확인하십시오.

요구 사항

1.8 이상으로 이동하십시오

어떻게 작동합니까?

언어 인식은 어떻게 작동합니까?

알고리즘은 N-Gram의 특정 사례 인 Trigram Language 모델을 기반으로합니다. 아이디어를 이해하려면 원래 백서 Cavnar and Trenkle '94 : N-Gram 기반 텍스트 분류 '를 확인하십시오.

비정상적인 계산 방법은 무엇입니까?

다음 요소를 기반으로합니다.

• 주어진 텍스트에 몇 개의 고유 한 트리 그램이 있습니까?
• 첫 번째와 두 번째 (반환되지 않음) 감지 언어의 차이는 얼마나 큰가요? 이 메트릭은 코드 기반에서 rate 라고합니다.

따라서 임계 값 함수가있는 2D 공간으로 제시 될 수 있으며,이를 "신뢰할 수있는"및 "신뢰할 수없는"영역으로 나눌 수 있습니다. 이 기능은 쌍곡선이며 다음과 같은 것 같습니다.

자세한 내용은 Rust Whatlang Library 및 Natural Language Identification 알고리즘에 대한 블로그 기사 소개를 확인하십시오.

특허

MIT

유도

Whatlanggo는 Titus Wormer의 프랑 (JavaScript, MIT)의 파생물입니다.

감사의 말

아이디어와 알고리즘을 얻은 곳에서 whatlang-r을 만드는 Greyblake (Potapov Sergey)에게 감사드립니다.