bnlp

벵골어 자연 언어 처리 (BNLP)

BNLP는 벵골어를위한 자연어 처리 툴킷입니다. 이 도구를 사용하면 벵골어 텍스트를 토큰 화하고 , 벵골어 단어를 포함시키고 , 벵골어 문서를 포함 , 벵골어 POS 태그 , 벵골어 이름 엔티티 인식 , 벵골어 NLP 목적을위한 방글라 텍스트 청소에 도움이됩니다.

특징

• 토큰 화
  • 기본 토큰 화기
  • NLTK 토큰 화기
  • 문장 토큰 화기
• 임베딩
  • Word2Vec 임베딩
  • FastText Embedding
  • 장갑 임베딩
  • DOC2VEC 문서 포함
• 음성 태깅의 일부
  • CRF 기반 POS 태깅
• 지명 된 엔티티 인식
  • CRF 기반 NER
• 텍스트 청소
• 신체
  • 글자, 모음, 구두점, 스톱워드

설치

PIP 설치 프로그램

 pip install bnlp_toolkit

또는 업그레이드

 pip install -U bnlp_toolkit

• 파이썬 : 3.8, 3.9, 3.10, 3.11
• OS : Linux, Windows, Mac

소스에서 빌드하십시오

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

샘플 사용

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

선적 서류 비치

전체 문서는 여기에서 제공됩니다

이전 버전의 BNLP를 사용하는 경우 Documentation Archive를 확인하십시오.

기고자 가이드

자세한 내용은 Contributing.md 페이지를 확인하십시오.

감사합니다

• 의미 실험실
• Bengali NLP를 강화하는 데 기여하는 모든 개발자.