bnlp

孟加拉國自然語言處理（BNLP）

BNLP是孟加拉語語言的自然語言處理工具包。此工具將幫助您示意孟加拉文本，嵌入孟加拉語單詞，嵌入孟加拉文檔，孟加拉語POS標籤，孟加拉語名稱實體識別，孟加拉文本清潔孟加拉語NLP目的。

特徵

• 令牌化
  • 基本令牌
  • NLTK令牌
  • 句子令牌
• 嵌入
  • Word2Vec嵌入
  • fastText嵌入
  • 手套嵌入
  • DOC2VEC文檔嵌入
• 語音標籤的一部分
  • 基於CRF的POS標籤
• 命名實體識別
  • 基於CRF的NER
• 文本清潔
• 語料庫
  • 字母，元音，標點，停車詞

安裝

PIP安裝程序

 pip install bnlp_toolkit

或升級

 pip install -U bnlp_toolkit

• Python：3.8，3.9，3.10，3.11
• OS：Linux，Windows，Mac

從源構建

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

樣本使用

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

文件

完整的文檔可在此處提供

如果您使用的是BNLP的先前版本，請檢查文檔存檔

撰稿人指南

查看貢獻。 MD頁面以獲取詳細信息。

由於

• 語義實驗室
• 所有為豐富孟加拉國NLP而做出貢獻的開發商。