nlprule

nlprule

Rust로 작성된 빠르고 자원이 낮은 자연 언어 처리 및 오류 수정 라이브러리. NLPRULE는 LangeGetool의 리소스를 사용하여 NLP에 대한 규칙 및 조회 기반 접근 방식을 구현합니다.

파이썬 사용

설치 : pip install nlprule

사용:

 from nlprule import Tokenizer , Rules

tokenizer = Tokenizer . load ( "en" )
rules = Rules . load ( "en" , tokenizer )

 rules . correct ( "He wants that you send him an email." )
# returns: 'He wants you to send him an email.'

rules . correct ( "I can due his homework." )
# returns: 'I can do his homework.'

for s in rules . suggest ( "She was not been here since Monday." ):
    print ( s . start , s . end , s . replacements , s . source , s . message )
# prints:
# 4 16 ['was not', 'has not been'] WAS_BEEN.1 Did you mean was not or has not been? 

 for sentence in tokenizer . pipe ( "A brief example is shown." ):
    for token in sentence :
        print (
            repr ( token . text ). ljust ( 10 ),
            repr ( token . span ). ljust ( 10 ),
            repr ( token . tags ). ljust ( 24 ),
            repr ( token . lemmas ). ljust ( 24 ),
            repr ( token . chunks ). ljust ( 24 ),
        )
# prints:
# 'A'        (0, 1)     ['DT']                   ['A', 'a']               ['B-NP-singular']       
# 'brief'    (2, 7)     ['JJ']                   ['brief']                ['I-NP-singular']       
# 'example'  (8, 15)    ['NN:UN']                ['example']              ['E-NP-singular']       
# 'is'       (16, 18)   ['VBZ']                  ['be', 'is']             ['B-VP']                
# 'shown'    (19, 24)   ['VBN']                  ['show', 'shown']        ['I-VP']                
# '.'        (24, 25)   ['.', 'PCT', 'SENT_END'] ['.']                    ['O']

녹 사용

권장 설정 :

Cargo.toml

[ dependencies ]
nlprule = " <version> "

[ build-dependencies ]
nlprule-build = " <version> " # must be the same as the nlprule version!

build.rs

 fn main ( ) -> Result < ( ) , nlprule_build :: Error > {
    println ! ( "cargo:rerun-if-changed=build.rs" ) ;

    nlprule_build :: BinaryBuilder :: new (
        & [ "en" ] ,
        std :: env :: var ( "OUT_DIR" ) . expect ( "OUT_DIR is set when build.rs is running" ) ,
    )
    . build ( ) ?
    . validate ( )
}

src/main.rs

 use nlprule :: { Rules , Tokenizer , tokenizer_filename , rules_filename } ;

fn main ( ) {
    let mut tokenizer_bytes : & ' static [ u8 ] = include_bytes ! ( concat! (
        env! ( "OUT_DIR" ) ,
        "/" ,
        tokenizer_filename! ( "en" )
    ) ) ;
    let mut rules_bytes : & ' static [ u8 ] = include_bytes ! ( concat! (
        env! ( "OUT_DIR" ) ,
        "/" ,
        rules_filename! ( "en" )
    ) ) ;

    let tokenizer = Tokenizer :: from_reader ( & mut tokenizer_bytes ) . expect ( "tokenizer binary is valid" ) ;
    let rules = Rules :: from_reader ( & mut rules_bytes ) . expect ( "rules binary is valid" ) ;

    assert_eq ! (
        rules . correct ( "She was not been here since Monday." , & tokenizer ) ,
        String :: from ( "She was not here since Monday." )
    ) ;
}

nlprule 및 nlprule-build 버전은 동기화됩니다.

주요 기능

• 수천 개의 규칙을 통한 규칙 기반 문법 오류 수정.
• 문장 세분화, 부품 태그, 레마 화, 청크 및 명확성을 수행하는 텍스트 처리 파이프 라인.
• 영어, 독일어 및 스페인어 지원.
• 맞춤법 검사. ( 진행중인 )

목표

• 다운 스트림 작업을 위해 맞춤법 검사 및 문법 오류 수정을 적용하는 단일 장소.
• 실행에 적합한 빠르고 저주적 NLP :
  1. 보다 정교한 (IE ML) 접근을위한 사전 / 사후 처리 단계로서.
  2. 오버 헤드가 낮은 다른 응용 프로그램의 백그라운드에서.
  3. WebAssembly를 통해 브라우저의 클라이언트 측.
• 100% 녹 코드 및 종속성.

Langegetool과 비교

	| 명확한 규칙 |	| 문법 규칙 |	LT 버전	nlprule 시간	언어 시간
영어	843 (100%)	3725 (~ 85%)	5.2	1	1.7-2.0
독일 사람	486 (100%)	2970 (~ 90%)	5.2	1	2.4-2.8
스페인 사람	실험적 지원. 아직 완전히 테스트되지 않았습니다.

자세한 내용은 벤치 마크 문제를 참조하십시오.

nlprule을 사용한 프로젝트

• PROSEMD : VSCODE 통합이있는 MarkDown 파일을위한 교정 및 라인 언어 서버.
• Cargo-SpellCheck : 철자 및 문법 실수에 대한 모든 녹 문서를 확인하는 도구.

프로젝트를 추가하려면 PR을 제출하십시오!

감사의 말

NLPRULE에 사용 된 자원에 대한 모든 크레딧은 문법 오류 수정 및 더 넓은 NLP를위한 고품질 리소스를 만들기 위해 Herculean의 노력을 기울인 Langegetool로갑니다.

특허

NLPRULE은 귀하의 옵션에 따라 MIT 라이센스 또는 Apache-2.0 라이센스에 따라 라이센스가 부여됩니다.

nlprule binaries ( *.bin )는 Langugetool v5.2에서 파생되며 LGPLV2.1 라이센스에 따라 라이센스가 부여됩니다. Nlprule은 이러한 바이너리와 정적으로 그리고 동적으로 연결됩니다. lgplv2.1 §6 (a)에 따라 이것은 nlprule 자체의 라이센스에 영향을 미치지 않습니다.