bnlp

孟加拉国自然语言处理（BNLP）

BNLP是孟加拉语语言的自然语言处理工具包。此工具将帮助您示意孟加拉文本，嵌入孟加拉语单词，嵌入孟加拉文档，孟加拉语POS标签，孟加拉语名称实体识别，孟加拉文本清洁孟加拉语NLP目的。

特征

• 令牌化
  • 基本令牌
  • NLTK令牌
  • 句子令牌
• 嵌入
  • Word2Vec嵌入
  • fastText嵌入
  • 手套嵌入
  • DOC2VEC文档嵌入
• 语音标签的一部分
  • 基于CRF的POS标签
• 命名实体识别
  • 基于CRF的NER
• 文本清洁
• 语料库
  • 字母，元音，标点，停车词

安装

PIP安装程序

 pip install bnlp_toolkit

或升级

 pip install -U bnlp_toolkit

• Python：3.8，3.9，3.10，3.11
• OS：Linux，Windows，Mac

从源构建

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

样本使用

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

文档

完整的文档可在此处提供

如果您使用的是BNLP的先前版本，请检查文档存档

撰稿人指南

查看贡献。MD页面以获取详细信息。

由于

• 语义实验室
• 所有为丰富孟加拉国NLP而做出贡献的开发商。