bnlp

ベンガル自然言語処理（BNLP）

BNLPは、ベンガル語の自然言語処理ツールキットです。このツールは、ベンガル語のテキストのトークン、ベンガル語の単語の埋め込み、ベンガル語の文書の埋め込み、ベンガル語のPOSタグ付け、ベンガル語名のエンティティ認識、ベンガル語のNLPの目的のためのバングラテキストクリーニングに役立ちます。

特徴

• トークン化
  • 基本的なトークネザー
  • NLTKトークネザー
  • 文章トークネザー
• 埋め込み
  • word2vec埋め込み
  • fastText埋め込み
  • グローブ埋め込み
  • doc2vecドキュメント埋め込み
• 音声タグ付けの一部
  • CRFベースのPOSタグ付け
• 名前付きエンティティ認識
  • CRFベースのNER
• テキストクリーニング
• コーパス
  • 文字、母音、句読点、ストップワード

インストール

ピップインストーラー

 pip install bnlp_toolkit

またはアップグレード

 pip install -U bnlp_toolkit

• Python：3.8、3.9、3.10、3.11
• OS：Linux、Windows、Mac

ソースからビルド

 git clone https://github.com/sagorbrur/bnlp.git
cd bnlp
python setup.py install

サンプルの使用

 from bnlp import BasicTokenizer

tokenizer = BasicTokenizer ()

raw_text = "আমি বাংলায় গান গাই।"
tokens = tokenizer ( raw_text )
print ( tokens )
# output: ["আমি", "বাংলায়", "গান", "গাই", "।"] 

ドキュメント

完全なドキュメントはこちらから入手できます

BNLPの以前のバージョンを使用している場合は、ドキュメントアーカイブを確認してください

寄稿者ガイド

詳細については、Contributing.MDページを確認してください。

に感謝します

• セマンティクスラボ
• ベンガルNLPを濃縮することに貢献しているすべての開発者。